D進します — still deeper

2014/09/09 30 users D進

tl;dr 2014年10月から東京大学大学院 情報理工学研究科 電子情報学専攻 博士後期課程に進学します。 求人 現職で元々人手不足感があったところに、私の手も減ってしまうので絶賛求人中です。 今どきのキラキラしたオフィスなどはないですが、今回の進学のような個人の都合もちゃんと話を聞いてもらえるので、大変働きやすい職場だと思っています。 wantedlyから応募して頂いても私に直接声をかけて頂い... 続きを読む

fluent-plugin-event-snifferというプラグインを書いた — still deeper

2014/07/28 23 users choplin github.com tl;dr https

fluent-plugin-event-snifferというプラグインを書いた tl;dr; fluetndに流れているイベントをWeb UI上で確認できる fluent-plugin-event-sniffer というプラグインを書いた。 https://github.com/choplin/fluent-plugin-event-sniffer Read more... 概要 以前、コマンドラ... 続きを読む

fluentdのoutputプラグインでブロックするものはBufferedOutputを使うべき — still deeper

2014/01/19 25 users fluentd fluent choplin Git ノート

前置き fluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。 調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。 /home/choplin/git/fluentd/lib/fluent/buffer.rb:296:in `write_chunk' /home/... 続きを読む

SQL感覚でHiveQLを書くと痛い目にあう例 — still deeper

2013/12/04 103 users HiveQL Hive reducer 前書き クエリ言語

SQL感覚でHiveQLを書くと痛い目にあう例 tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語... 続きを読む

fluentd自身のログにまつわるノウハウ — still deeper

2013/04/27 71 users ロク ノウハウ match fluentd クラスタ

fluentd自身のログにまつわるノウハウ fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います [1] が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義して... 続きを読む

データ解析基盤を構築する前に考慮すべきポイント - still deeper

2012/11/13 74 users データ解析基盤 ポイント

概要 ここしばらく某社でデータの解析基盤を構築する仕事に携わっています。一からの構築になるので打てる手が多く楽しい一方で、適切な判断を下すのは難しいと実感しています。 解析基盤というのはもちろん解析を行うためのものですので、どう解析を行うかによってどういう基盤を構築していけばよいかが決まります。 ところで、データ（構造や収めているDBなども含めて）というのは寿命の長いもので、初期の設計を間違えてし... 続きを読む