This document provides an overview of Docker including: - Docker allows building applications once and deploying them anywhere reliably through containers that provide resource isolation. - Key Docker components include images, resource isolation using cgroups and namespaces, filesystem isolation using layers, and networking capabilities. - Under the hood, Docker utilizes cgroups for resource acco
グーグルとBingは、TwitterやFacebookで共有されたリンクが検索順位に直接影響することを認めた。リンクグラフに与えるであろう2次的なプラス効果とは別に影響があるということだ。 米国時間12月1日時点、ダニー・サリバン氏による素晴らしいインタビュー記事を通じてのことだ。 SEO関係者の間では以前から推測されていたことだとはいえ（実際2009年11月の段階で、グーグルとBingがTwitterとの提携を発表したことを受けて、業界内の大勢がそう断定していた）、正式に確認を得られたことは大きな前進だ。 サリバン氏の記事では、そのほかにもう1つの重要な情報が明らかになった。 ダニー・サリバン： ある記事がTwitterで大量にリツイートされたり参照されたりした場合、検索エンジンは、そうした状況自体をシグナルとして考慮するのでしょうか？（そこから生成されるnofollow属性のないリンク
参加メモ:http://atnd.org/events/9234 全文検索エンジンgroongaについて 発表者: (有)未来検索ブラジル 末永 匡 a.k.a. グニャラくん 全文検索エンジンSenna 2チャンネル検索のために作った Sennaの特徴(1) 高速なインデックス更新 参照ロックフリーなデータ構造を採用 データ更新時に検索を阻害しない 2chの地震速報板をすぐに検索したい 検索の速報性が重要。Twitterなど TwitterはLuceneを使ってしまってへこんでいる Sennaは全文検索「ライブラリ」 転置インデックスをのみを更新 本文、タイトル、作成者といった文書の情報を持たない 文書情報はMySQLにやらせる Tritonn MySQL + Senna Sennaの利用≒Tritonnの利用 SQLを用いて全文検索ができた。全文検索、並び替え、グループ化、これらの組み
Ajaxを使うためにはページ内リンク (hash fragment=URLの#以降) を使うのが一般的*1 hash fragmentはサーバに送信されないから、JavaScript非対応のブラウザだと動作しない 特にサーチエンジンのクローラ等で問題になる*2 そこで Google は、#! が含まれる URL を hash を含まないものに読み替える仕組みを提唱している。例えば「www.example.com/ajax.html#!key=value」のサーチエンジン用URLは「www.example.com/ajax.html?_escaped_fragment_=key=value」になる。 TwitterやFacebookはこの仕様に従うことで、Ajax な UI と SEO を同時に実現している、というわけ。ということを調べたなう。 参照: Getting Started |
新進気鋭の NoSQL DB「MongoDB」には MapReduce フレームワークが備わっており、何故か JavaScript で処理をプログラミング出来る。 最近見たこのページで、 ところでこの単語の出現回数出力、ちょっと手を加えるだけで検索エンジンの転置インデックスが作れることが分かります。map の emit 時に (単語 => 1) ではなく (単語 => ドキュメントID) とします。reduce では (単語 => ドキュメントIDのリスト) とします。出力は単語順に並べられているので、これだけでごくシンプルではありますが、転置インデックスの完成です。MapReduce が検索エンジンのインデックスを作成するのに有効であることが分かります。 1 // register word splitter function 2 db.system.js.save( { _id :
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
第二回Solr勉強会で発表できたらなぁとおもってて諸般の事情により出せなかったお蔵入り資料。 Read less
データ http://dl.dropbox.com/u/2996612/idf.txt.bz2 集計条件 品詞は細分類を無視 文書数はタイトルの行数とし、空の文書*1でもカウントを行っている*2 定義式 ： 単語のIDF値 ： 総文書数 ： 単語が出現する文書の総数 文書数、異なり単語数 総ドキュメント数 123,7429 単語異なり数 216,9308 データ形式と例 タブ区切り データ例 形態素 品詞 idf値 あいぞう 名詞 6.09252 あいぞめ 名詞 5.01334 あいた 感動詞 4.58737 あいたい 名詞 4.46927 あいだ 名詞 2.82231 *1:WP2TXTの変換によって本文がなくなる場合がある *2:めんどくさかったので・・・ データ 1-gram http://dl.dropbox.com/u/2996612/1gram.bz2 2-gram http:
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 15.0.3 is the latest release. It had been released at 2025-03-10. Install Source The latest posts Groonga 15.0.3 has been released! (2025-03-10) Groonga 15.0.2 has been released! (2025-02-21) Groonga 15.0.1
はじめに 前回は、検索エンジンとはどういうもなのか？について簡単に触れました。今回は、システムとしての検索エンジンの概要を見ていきます。 検索エンジンの構成 検索エンジンは他のシステムと同様に、複数のコンポーネントから構成されています。ざっくり分けると以下のようなコンポーネントから構成されています（図1）。 索引構築部（Indexer, インデクサー） 検索部（Searcher, サーチャー） 索引（Index, インデックス） 図1 検索エンジンの構成 たった3つ？と思うかもしれませんが、これは大きな枠組みで分けているからです。もちろん、各コンポーネントは複数のサブコンポーネントから構成されていますので、実際はもう少し複雑になりますが、基本はこの構成となります。 次は、それぞれのコンポーネントで具体的に何を行っているかを見てみましょう。 各コンポーネントの概要 ●索引構築部（Inde
2008年度 先端情報科学特論 II & IV リンク解析と周辺の話題 担当 新保 仁 shimbo@is.naist.jp 日時 2008/11/10, 11/17, 12/1, 12/8 (全 4 回) - 4限 15:10-16:40 場所 情報棟 L3 講義室 リンク解析は, グラフ (ネットワーク) データの構造から有用な情報を抽出するための, データマイニングの一研究分野です. この講義ではまず, リンク解析が取り扱う 2 種類の尺度 (重要度と関連度) について述べ, それぞれの代表的な計算手法を紹介します. 後半では, 近年機械学習分野で盛んに研究されているカーネルのうち, グラフ上の節点に対して定義されたカーネル (グラフカーネル) と, そのリンク解析への応用について紹介します. 第1回 11月10日 スライド 第2回 11月17日 スライド 第3回 12月1日
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
このエントリでは Ruby on Rails と MySQL を使って日本語の全文検索を行う方法を記述する。Ruby on Rails のバージョンは 2.0.2、MySQL のバージョンは 5.0.67、Tritonn のバージョンは 1.0.12、Hyper Estraier のバージョンは 1.4.10 を使用した。サンプルの文章データとして、あらゆる日本人にとって極めて身近な著作権切れ文章である『ドグラ・マグラ』と『黒死館殺人事件』を利用した。処理のために整形したデータは本エントリに添付しておく。またデータベースへアクセスするコードではマイグレーションを除きできるだけベンチマークを取るようにし、その結果は本エントリの最後に記載する。 ページネーション Rails でページネーションを実現する will_paginate という plugin は ActiveRecord に標準でつ
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. In…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く