こんにちは、yoshitsuguです。 仕事でHadoopのプログラムをゴリゴリやっているわけなんですが、例えば「何か簡単なサンプルアプリを書け。word count以外で、だ。」と言われると結構困ってしまいます。 HadoopというよりMap/Reduceというアルゴリズムでできることとは、一体なんでしょうか？ ある程度DBのシステムを組んだことがある人には、 Map≒WHERE + GROUP BY(※集約キー指定のみ) Reduce≒GROUP BY（※キーでデータが集約されてくる）, COUNT(), SUM(), MAX(), MIN()などの集約関数であるという説明が案外わかりやすい気がします。 (私の業務では、DBに近い使い方が結構多いからかもしれません） 具体例で示します。 次のプログラムはApacheのアクセスログから404アクセスしたクライアントのIPアドレスとリクエス
行毎の合算を行うサンプル 以下のような成績表（試験の点数のCSVファイル）から、各学生ごとの合計点数を算出する例。 #番号,名前, 数学,国語,理科,社会,英語 101,天才, 100, 100, 100, 100, 100 201,無気力, 5, 30, 10, 20, 15 102,ひしだま, 90, 85, 80, 50, 10 202,hoge, 10, 30, 25, 45, 20 103,foo, 60, 60, 60, 60, 25 204,xxx, 80, 77, 90, 40, 44 205,yyy, 65, 90, 55, 80, 65 104,zzz, 40, 60, 60, 70, 20 出力イメージ： 101,天才 500 102,ひしだま 315 103,foo 265 104,zzz 250 201,無気力 80 202,hoge 130 204,xxx 33
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く