5/13（火）に六本木のフリークアウトさんで開催されたFluentd Meetupに参加してきました。参加記事書くの遅れたし、すでに詳しい参加記事書いててくださった方が居たので自分用のメモをサクッと。

概要

【満席につき増席しました！】Fluentd Meetup 新しい応用事例とv1に関する発表 - dots. http://eventdots.jp/event/49560

他の方の記事

Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ

Fluentd v.1に関するアップデートと今後のロードマップ by トレジャーデータ @repeatedly さん

Fluentd v1 and Roadmap

Fluentd v1(1.0)が出る
互換性あり
New configuration
- hash, arrayが使用可能
- Rubyのコードが書けるように
- 0.10.46でもオプションを書くことで利用可能
Filter / Label support
- タグの付け、外しが不要になる
Error stream
- Errorを1箇所に集める
- 集めてファイルに出すなどの利用が可能
imporved plugin
ServerEngine based
Multi Process
Zero downtime restart
td-agent2
- Use ruby 2.1.2

タグの付け外しは確かにトリッキーになる部分があったりプラグイン毎に挙動が違ったりしてたので、わかりやすくなる感じで凄くいいですね。その他の機能も期待が持てる感じです。

毎秒10万件でもまだ軽い！Norikra＋BigQuery＋Dockerで10分でつくるリアルタイムログ解析基盤 by 日本グーグル佐藤さん

Norikra, Docker, BigQueryを使って検索基盤を構築する話
GoogleのBigQuery
スプレッドシートにグラフを描画するデモ

規模感が凄いなぁと思った。そんな中でも、Norikraが使われていたりして @tagomoris さん凄いなぁと思った。

HTML5 Single Page Application のイベントログ収集をFluentdで効率化している話 by Quipper @hakobera さん

Logging Technique for HTML5 Single Page Application with Fluentd // Speaker Deck

個人的にはFluentdの話よりも、静的コンテンツ(HTML + js)をS3に置いて、APIのみをサーバ運用という話に一番衝撃を受けまし。運用省力化だし、APIとViewの切り離しが行われてて開発の分担やテストがしやすいしでうまいやり方だと思いました。mixpanel( https://mixpanel.com/ )がとても便利らしいです。

Backbone.jsで動かしているHTMLをS3に置いて、サーバはAPIのみ。
Single Page Applicationのイベントログで苦労した話。
Fluentdといえばアクセスログ解析
- アクセスログが飛んでこないイベントが多数ある
- ローカルキャッシュを利用する箇所で、2回めからAPIアクセスも来ない
- Native連携したかとか
解決策
- イベントに対応したアクセスログ収集ツール。mixpanel
色々なフォーマットで要求される
- Excel
- Google Analytics
fluent-plugin-mixpanel作って解決した

マゾいログ回収の話と未来 by フリークアウト @s_wool さん

マゾいログ回収の話と未来 // Speaker Deck

fluentd使い始め
- S3（バックアップ用）とログサーバへ転送ログサーバはtsv(hive用）にして、hdfsにput
- out_s3が詰まる
- msgpackのunpackが詰まる
- LAの高まり
out_s3 対策
- aggregatorでfluentdを複数起動
- out_s3のnum_threadを増やす
- buffer_queue_limitを増やす
parseがしんどくなる
Elasticsearch使い始めた