3. 謝辞 以下のホームページを参照＆資料を貸していただきました http://hadoop.apache.org http://developer.yahoo.net/blogs/hadoop/2008/02/yahoo-worlds-largest-production-hadoop.html http://www.techcrunch.com/2008/01/09/google-processing-20000-terabytes-a-day-and-growing/ http://codezine.jp/article/detail/2448?p=1 http://www.slideshare.net/kakuda/hadoop/ 4. outline what is Hadoop? Hadoop distributed file system Hadoop mapreduce H
Hadoop（ハドゥープ）とは、Googleの分散ファイルシステムを応用して オープンソース化したプラットフォームです。 分散ファイルシステムとは、複数のマシンのディスクを組み合わせて 1つのファイルシステムとして見せる技術です。 これは1つのディスクで保存しきれないような大量のデータを並列化することで 非常に高速に効率良く処理することができるのです。 Hadoopプラットフォームは安全です。 分散ファイルシステムにより、同じファイルを異なるマシンに重複して持たせることで、 一台のマシンが故障した場合でもファイルが失われません。 つまり、耐障害性の高い・安全性の高いとプラットフォームであると言えるのです。 Hadoopプラットフォーム、始まりはGoogleから・・・ グーグルが独自に開発したMapReduceは、 同社の検索エンジンを支える中核技術であるため詳細は未公開ですが、
毎年値下がりするHDDに本気で投資できますか？ これまでは、5年後に必要になるであろうHDD容量を予想し、 それに見合ったRAIDを構築するのが業界の常識でした。 必要とされるHDD容量は年々増え続け、HDDの価格は下落していく傾向にあります。 そんな状況の中で、５年後のHDD容量を予測し、 そんな不確定的な条件の下で、費用を掛けることが効率が良くないのは明らかです。 そこで、「企業として正しい選択」をリッテルからご提案します。 この様なことでお困りではありませんか？ ・ハードの保守期間が切れたという理由でリプレースに数千万円の費用をかけなければならない。 ・大量のデータのバッチ処理のスピードアップをはかりたい ・分析したい項目は他にもあるのに現状のデータ処理に時間がかかって分析できていない ・ストレージの構築コストを低減したい。 ・大容量データのバッチ処理にかかるコストを低減したい。
検索の高速化 大手書店様で500万件の商品データから検索を行う際に、 数10秒から数分かかっていたものがhadoopでインデックスを作ることにより 1～2秒で検索ができるようになった事例 ・検索用Index生成検証テスト 2KB/件のデータのindexを生成したときにかかる時間 ※カッコ無しは実測値、カッコ内は推定値 既存のシステムでは、数十万件の差分index生成とコピーで6時間かかっていたものが、 1500万件のフルインデックスで93.8分まで短縮された。 きれいなindexを作ることで検索も高速化され、サーバの台数を増やすことで処理時間はさらに短縮される。 ブログデータ処理 テレビ局の関連会社からの依頼でインターネット上の19種類のブログ をクローリングした後のデータ加工をHadoopで行った事例 増え続けるデータ拡張へのストレージとしての対応、検索の高速化 Logデー
Hadoop（ハドゥープ）とは、Googleの分散ファイルシステムを応用して オープンソース化したプラットフォームです。 分散ファイルシステムとは、複数のマシンのディスクを組み合わせて 1つのファイルシステムとして見せる技術です。 これは1つのディスクで保存しきれないような大量のデータを並列化することで 非常に高速に効率良く処理することができるのです。 Hadoopプラットフォームは安全です。 分散ファイルシステムにより、同じファイルを異なるマシンに重複して持たせることで、 一台のマシンが故障した場合でもファイルが失われません。 つまり、耐障害性の高い・安全性の高いとプラットフォームであると言えるのです。 Hadoopプラットフォーム、始まりはGoogleから・・・ グーグルが独自に開発したMapReduceは、 同社の検索エンジンを支える中核技術であるため詳細は未公開ですが、
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く