読者です 読者をやめる 読者になる 読者になる

月曜日までに考えておきます

ITネタとゲームネタ中心に興味のあること色々書きます。

遅くなりましたがFluentd Meetupに参加してた報告

IT 勉強会

5/13(火)に六本木のフリークアウトさんで開催されたFluentd Meetupに参加してきました。 参加記事書くの遅れたし、すでに詳しい参加記事書いててくださった方が居たので自分用のメモをサクッと。

  • 概要

【満席につき増席しました!】Fluentd Meetup 新しい応用事例とv1に関する発表 - dots. http://eventdots.jp/event/49560

  • 他の方の記事

Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ

Fluentd v.1に関するアップデートと今後のロードマップ by トレジャーデータ @repeatedly さん

Fluentd v1 and Roadmap

  • Fluentd v1(1.0)が出る
  • 互換性あり
  • New configuration
    • hash, arrayが使用可能
    • Rubyのコードが書けるように
    • 0.10.46でもオプションを書くことで利用可能
  • Filter / Label support
    • タグの付け、外しが不要になる
  • Error stream
    • Errorを1箇所に集める
    • 集めてファイルに出すなどの利用が可能
  • imporved plugin
  • ServerEngine based
  • Multi Process
  • Zero downtime restart
  • td-agent2

タグの付け外しは確かにトリッキーになる部分があったりプラグイン毎に挙動が違ったりしてたので、わかりやすくなる感じで凄くいいですね。その他の機能も期待が持てる感じです。

毎秒10万件でもまだ軽い!Norikra+BigQuery+Dockerで10分でつくるリアルタイムログ解析基盤 by 日本グーグル 佐藤さん

規模感が凄いなぁと思った。そんな中でも、Norikraが使われていたりして @tagomoris さん凄いなぁと思った。

HTML5 Single Page Application のイベントログ収集をFluentdで効率化している話 by Quipper @hakobera さん

Logging Technique for HTML5 Single Page Application with Fluentd // Speaker Deck

個人的にはFluentdの話よりも、静的コンテンツ(HTML + js)をS3に置いて、APIのみをサーバ運用という話に一番衝撃を受けまし。運用省力化だし、APIとViewの切り離しが行われてて開発の分担やテストがしやすいしでうまいやり方だと思いました。mixpanel( https://mixpanel.com/ )がとても便利らしいです。

  • Backbone.jsで動かしているHTMLをS3に置いて、サーバはAPIのみ。
  • Single Page Applicationのイベントログで苦労した話。
  • Fluentdといえばアクセスログ解析
    • アクセスログが飛んでこないイベントが多数ある
    • ローカルキャッシュを利用する箇所で、2回めからAPIアクセスも来ない
    • Native連携したかとか
  • 解決策
  • 色々なフォーマットで要求される
  • fluent-plugin-mixpanel作って解決した

マゾいログ回収の話と未来 by フリークアウト @s_wool さん

マゾいログ回収の話と未来 // Speaker Deck

  • fluentd使い始め
    • S3(バックアップ用)とログサーバへ転送ログサーバはtsv(hive用)にして、hdfsにput
    • out_s3が詰まる
    • msgpackのunpackが詰まる
    • LAの高まり
  • out_s3 対策
    • aggregatorでfluentdを複数起動
    • out_s3のnum_threadを増やす
    • buffer_queue_limitを増やす
  • parseがしんどくなる
  • Elasticsearch使い始めた

s3へ保存するとか、Elasticsearchとか自分が最近取り組んでいることと似た内容だったので、これからこういうトラブルが起きた時に参考にさせていただこうと思いました。