グーグルが独自に開発した分散ファイルシステム「Google File System」（GFS)。GFSには、グーグルがクローラが集めてきた大量のコンテンツ、GMailなどの利用者が保存する大量のファイル、 Google Mapsなどが表示する大量の画像など、想像を絶するほど大量のデータが保存されています。 GFSは約10年前に開発され、その後改良を加えられてはきましたが、いくつかの弱点が表面化してきています。それらの弱点を克服するために現在グーグルでは GFSの次のバージョンを開発中で、開発責任者であるSean Quinlan氏へのインタビューが、米国の計算機学会であるACMのWebサイトに掲載されています。 GFS: Evolution on Fast-forward また、そのインタビューの概要がニュースサイトRegisterの記事「Google File System II: Daw
A discussion between Kirk McKusick and Sean Quinlan about the origin and evolution of the Google File System. During the early stages of development at Google, the initial thinking did not include plans for building a new file system. While work was still being done on one of the earliest versions of the company's crawl and indexing system, however, it became quite clear to the core engineers that
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く