という入門記事を書こうと思いましたが、最高の記事があったのでやめました。 こちらを参照すると良いです。 ちなみにこういうスクリプトをピッと書いたらデータが送れてることが確認出来ました。 use strict; use warnings; use Fluent::Logger; my $logger = Fluent::Logger->new( host => '127.0.0.1', port => 24224, ); $logger->post("access.log", { uri => "http://google.com", request => { addr => "test-addr", ua => "test-ua", referrer => "test-referrer", }, }); 触った感じ便利そうなので、なんかやりたい。 これも面白い感じがします。
ハイパフォーマンスHTTPサーバ Nginx入門 作者: Clement Nedelcu,長尾高弘出版社/メーカー: アスキー・メディアワークス発売日: 2011/04/21メディア: 大型本購入: 2人 クリック: 714回この商品を含むブログ (23件) を見る このエントリーで試したいこと Nginxのログをfluentdを使ってMongoDBに格納することをリアルタイムで行うことを試してみたいと思います。参考にしたサイトは以下のものです。 fluentd Fluentdのドキュメントへようこそ ― fluentd 0.10 documentation Fluentdで始めるリアルタイムでのログ有効活用 （1/4）：CodeZine Introduction of ‘fluentd’ « NAVER Engineers' Blog fluentd を利用した大規模ウェブサービスのロギ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
リポジトリ https://github.com/KazkiMatz/fluent-plugin-uniqcount 概要 fluent-plugin-uniqcountは、指定期間範囲において、設定で指定した属性ごとにイベント発生件数をユニークにカウントし、結果の上位N件を定期出力するfluentdプラグインです。SQLでいうところの: SELECT key1, COUNT(key2) AS key2_count, COUNT(DISTINCT(key2)) AS key2_uniq_count FROM records WHERE time BETWEEN T1 AND T2 GROUP BY key1 ORDER BY key2_count DESC LIMIT 0, N; に相当します。 fluent-plugin-uniqcountを使うと、 直近の60秒で、ユニークアクセスが最
この5月30,31日および6月1日に行われた RubyKaigi 2013 にproposalが通ったので、スピーカーとして参加してまいりました。 http://rubykaigi.org/2013/ 面白いトークがいろいろあったし色んな人と話ができたし、空き時間にfluentdの修正についての話や作業も進んだし、本当にすばらしいイベントだった。 お台場は遠かったけどHerokuさんのおかげでお昼に困らなかったし、Microsoftさんのおかげで飲み物にも困らなかったし、Githubさんのかげで懇親会にも困らなかった。すごい。スポンサー様すごいですね。 セッションはいろいろ聞いたけどまとまらないのでパス。テクニックの話が多かったな。Rails以外にRuby本体の話がちゃんといくつもあるのがさすがRubyKaigiですごい。RGenGCはFluentdにすごい効きそうなので期待したいなあ。
前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場 最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 jemallocについてはこのあたりを読むといいんじゃないでしょうか(自分で説明するのはめんどくさいｗ) jemallocとかLD_PRELOADについて調べてみた - As a Futurist... 結果、ピーク時間帯になっても used 6GB に行かないくらい。ワーイヤッタヨー。 ということでjemallocは社内用rpm*1を用意し fluentd 起動用のshファイル(supervisordからこれを指定して起動している)を以下のようにした。LD_PRELOADを加えただけ
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
td-agent.conf W � V @��� V # ステップバイステップで学ぶ Fluentd + GrowthForecast でグラフ作成まとめ - 彼女からは、おいちゃんと呼ばれています # http://d.hatena.ne.jp/inouetakuya/20130216/1361015295 <source> type forward </source> <match apache.access> type copy <store> type file_alternative path /var/log/td-agent/httpd-access time_slice_format %Y%m%d output_include_time false output_include_tag false output_data_type attr:message add_new
Fluentd自体の動作状況を数値化するための fluent-plugin-flowcounter およびメトリクスを手間なくグラフに描かせて可視化するための fluent-plugin-growthforecast をリリースした。 fluent-plugin-flowcounter rubygems.org github fluent-plugin-growthforecast rubygems.orgy github このふたつを組合せると、こないだの Fluentd meetup で自分が出したこんなグラフやこんなグラフが誰でもじつに簡単に描けるようになり、自分のFluentd使用状況が明確に把握できるようになるというわけですね。超おススメです。 なおGrowthForecastについては kazeburo さんのこのエントリを読むのがよいと思います。じつに良いツールです。 Gro
fluentd 標準のファイル出力プラグイン out_file はメッセージをJSONにシリアライズして出力するというもので、これはこれでまあいいんだけど、JSONだと逆に扱いづらいケースなんかもUNIXの文化ではあれこれある。また完全にJSONというわけでもなく、行頭にタブ区切りで日時とタグが入ってたりもするため、いきなり JSON parser にかけるわけにもいかなかったりして面倒だだだ。 ということで、出力フォーマットをさまざまにいじれるようにしたプラグイン out_file_alternative を作り fluent-plugin-file-alternative としてリリースしました。 fluent-plugin-file-alternative | RubyGems.org | your community gem host tagomoris/fluent-plugin
Installation This article shows how to install td-agent for CentOS, RHEL 5.0+. At first, please create /etc/yum.repos.d/td.repo with the following contents. [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 Then, you can install via yum command. $ yum update $ yum install td-agent /etc/init.d/td-agent script is also provided to start, stop, or r
今回は、こちらの作業の続きです。fluentでログが採れたところからの作業となります。いよいよグラフ化するところに入ります。RRDtoolはCentOSのパッケージからインストールするとうまく動かないとのことなので、GrowthForecastのみPerlを最新化しつつRRDtoolも独自にインストールします。 ■ 何はなくとも下準備 GrowthForecastを動かすために、以下のパッケージをyumの標準リポジトリからインストールします。 [cc lang='bash' ] [admin@mega21 log]$ sudo yum install glib2-devel gettext libxml2-devel pango-devel cairo-devel [admin@mega21 log]$ cd [/cc] ■ perlbrewインストール GrowthForecast実行ユ
皆様、ログ解析を行っていますか？ GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。 内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交えつつ紹介したいと思います。 このプラグインは100台規模の本番環境で1ヶ月少々、特にトラブルもなく稼働しているものです。 はじめに Amazonでは応答速度が0.1秒遅くなると売り上げが1％減る と言われているように、Webアプリケーションの応答速度はとても重要なものです。 機能追加による性能劣化は良くある話で、応答速度等の見える化を行う事で迅速な対応が取れば売り上げ等への影響も軽微です。 パフォーマンス改善等の指標として利用する場合のユースケースを紹介したいと思います。 fluentdとは リアルタ
ウィークリーFluentdユースケースエントリリレー #1 の記事です。 ウィークリーFluentdユースケースエントリリレーまとめ @oranie さんが in_tail を解説されてたんで、Output plugin から out_file を解説しようかと思います。さまざまな output に対応する Fluentd ですが、一番シンプルで基本的なこのプラグインの動作を今一度確認してみました。 file plugin out_file はその名の通り、他の出力から受け取ったバッファをファイルに書き出すプラグインです。 公式ドキュメントは こちら 設定例はこんな感じです <match pattern> type file path /var/log/fluent/myapp time_slice_format %Y%m%d time_slice_wait 10m time_format
このエントリは「ウィークリーFluentdユースケースエントリリレー」への参加記事です。 ウィークリーFluentdユースケースエントリリレーまとめ（現在12本まで。） - iをgに変えるとorangeになることに気づいたoranieの日記 fluentd で一番手軽な出力 plugin といえば out_file ですね。path を指定するだけでファイルに出力できますが、使い方に気をつけないと落とし穴があるよ、という話です。 簡単な使いかた 一番単純な使いかたはこのような記述で、 <match app.**> type file path /path/to/logs/app.log </match>これで /path/to/logs/app.log にJSON形式で出力されます。 2012-10-27T17:55:00+09:00 app.info {"message":"info m
LTSV って何? Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。 仕様は http://ltsv.org にまとまっています。随時更新中です。 LTSV は単なるログのフォーマットであって、それ以上でもそれ以下でもありません。 LTSV ってタブ区切りで値に名前を付けただけのもの? はい、そうです。 これが 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
Amazon Web Services / Big Data / Filter / Google Cloud Platform / Internet of Things / Monitoring / Notifications / NoSQL / Online Processing / RDBMS / Search / AMAZON WEB SERVICES Certified Download Name Author About Version BIG DATA Certified Download Name Author About Version FILTER Certified Download Name Author About Version GOOGLE CLOUD PLATFORM Certified Download Name Author About Version I
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く