fluentdでログが欠損する可能性を考える - sonots:blog

2015/07/07 344 users TCP sonots fluentd 前提 実験例

out_forward => in_forward の通信においてログが欠損する可能性を考える。 前提としてまともに動いている分にはまず欠損しないはず。TCPだし。=> 実験例あり 続きを読む

fluentdのoutputプラグインでブロックするものはBufferedOutputを使うべき — still deeper

2014/01/19 25 users fluentd fluent still deeper 外部

前置き fluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。 調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。 /home/choplin/git/fluentd/lib/fluent/buffer.rb:296:in `write_chunk' /home/... 続きを読む

多段fluentd + mongodb のハマリ所 - stanaka's blog

2013/02/22 69 users MongoDB stanaka's blog 上段 メモ 構成

2013-02-22 多段fluentd + mongodb のハマリ所 fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mよ... 続きを読む