月曜日までに考えておきます

ITネタとゲームネタ中心に興味のあること色々書きます。

Fluentd Casual Talks3に参加してきました #fluentdcasual

12/13(金)にDeNA@渋谷ヒカリエで行われたFluentd Casual Talks#3に参加してきました。

なんとかCasualというとガチュアルと呼ばれるこわい勉強会もあるという話を聞いたことがありますが、今回のはそんなことはなく自分のレベルでも便利情報満載でとても良い勉強会でした。

主催の@tagomorisさんもBlogエントリ書くの超オススメと最初におっしゃっていたので参加レポート書いてみます。

fluent-plugin-norikra by @tagomoris さん

資料 fluent-plugin-norikra #fluentdcasual

今年春のRubyKaigiのときにNorikraの話を聞いて、そのときは自分はFluentdを使っていなかったのであまり効果がよくわからなかったのですが、実際にFluentd知ってから改めて聞くとStreamにSQLクエリを投げられるということで設定周りがとてもスッキリ書けるという価値がすごく伝わってきました。そのNorikraと連携するPluginの話でした。

FluentdでShadowサーバ用意したらはかどった話(と性能検証の話) by @sonots さん

Shadow Server in Fluentd at Fluentd Casual Talks #3

  • 困り事、開発時にうまく動いていて本番に入れたらUTF-8 invalidで死んで厳しい
  • Shadow(プロキシ)サーバという技術をFluentdでやってみた
    • ざっくりいうと本番へのリクエストをテスト環境にも送るということ
  • ただし、メモリ使用量増えた。検証した。
    • fluent-agent-litem素晴らしい
    • buffer_chunk_limit 1m が安定。

Shadowサーバの概念知らなかったのでぜひ自分もやってみたい。

GoでFluentdを再実装 by @stanaka さん

Alternative Fluentd implementation in Go // Speaker Deck

Goの魅力を語った発表で、HelloWorldレベルぐらいしかやったことないけど今後のためにしっかりやっておく必要性感じました。

Windows版fluentdで幸せになれますか by @okahashi117 さん

  • Windows版コミッタの人たち
  • Windows版が動いた
  • cool.io 1.2.0
  • forkをspawnに
  • エスケープコード使わない
  • inodeをGetFileInformationBydHandleで置き換え
  • まだ不安定

実用レベルになったらWindowsサーバでも使えるようになるってわけですね。

Treasure Agent Monitoring Service by @kzk_mover さん

Treasure Agent Monitoring Service (ベータ)

  • Fluentdにおける監視項目
  • 基本
    • プロセス
    • ポート
    • システム
  • Fluentd特化
    • buffer溢れ
    • buffer flushリトライ
    • Fluentd自体のエラー/ワーニングログ
  • Treasure Agent Monitoring Service
    • td-agentのモニタリングサービス
    • 提供形態: フリー

Treasure Dataの中の人。自分はこれから始めるところなので、監視項目としてやるべきことを知れたので大変助かりました。

large td-agent.conf with Chef by @kenjiskywalker さん

large td-agent.conf with Chef // Speaker Deck

td-agent.confのinclude Directiveとchefを使って人間が管理しやすい形でtd-agentの設定を管理しましょうという話。 td-agentの構成管理どうすればいいだろうと悩んでたのでやっぱりChefですかね。

MySQLのテーブルをElasticsearchにレプリケート by @yoshi_ken さん

y-ken/yamabiko

MySQLのテーブルをElasticsearchに入れるプロダクトを作った話。 今、MySQLに溜め込んだデータを同僚にElasticsearch+Kibanaでうまく見れないか検証してもらっているところなので渡りに船な気がしました。

ご家庭でFluentd by @basy0C7 さん

AWS - ご家庭でFluentd - Qiita [キータ]

Ruby系のイベントでよく交流させてもらっているこしばさんによるLT。 趣味でFluentd使う話。

  • MacBook Airから Rasberry piにFluentdでデータ転送。(Amazon SQS経由)
  • アイドルのツイートを集めて、画像だけ抜いてTumblrへ、というのをFluentdでシステム構築している

この使い方、いろいろ応用効きそうでLife Changingな気がしますね。あとTシャツが鉄底海峡でした。

Outputプラグイン by @kazegusuriさん

OutputとBufferedOutputの間の何か // Speaker Deck

  • OutputとBufferedOutput Pluginの違い
  • 間を埋めるものを作った

OutputとBuffer Outputの違いをちゃんと理解できていなかったので、わかりやすく説明してくれる資料でとても良かったです。

スケールアウト by @choplin さん

  • fluentdで一番使われているプラグインは、名前を言ってはいけないあのデータベース
  • PostgreSQLにJSONを保存するものを作った
  • pg_msgpack

Fluentd v11 by @frsyuki さん

What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual

  • 無停止再起動
  • エラーストリーム
    • エラーが出た時の挙動はプラグイン依存
      • Fluentdコアでエラー処理する
  • マルチプロセス
  • Gemfile対応
  • プラグインごとのログレベル
  • 変数の入った設定ファイル

v11 pireview1 がライブリリースされました。

まとめ

Fluentd Casual Talksに参加したのは初めてだったのですが、いま仕事でも試行錯誤しながらやっているところなのでとても便利な情報がたくさん得られて非常に有意義でした。

  • Shadowサーバ
  • 監視項目
  • MySQLからElasticsearchへ
  • OutPutとBufferedOutputの違い

あたりはまさに今すぐにでも役立ちそうな情報なのでさっそく活用していきたいと思います。

あと、ステッカーもらえました(∩´∀`)∩ワーイ

Untitled