lltsvでLTSV形式のデータをサクサクパースしよう - Mercari Engineering Blog

2017/05/09 143 users cubicdaiya LTSV Key value コロン

2017 - 05 - 09 lltsvでLTSV形式のデータをサクサクパースしよう SREチームの @cubicdaiya です。 今回は lltsv というツールを利用して LTSV 形式のデータを処理する術について解説します。 LTSV LTSV はLabeled Tab-separated Valuesの略で、コロンで区切られたラベルと値の組み合わせ(key:value)をタブ区切りで表現... 続きを読む

NginxのアクセスログをLTSV形式にしてfluentdで回収する | eXcale Developer's Blog

2014/07/02 26 users syguer eXcale nginx fluentd 泉谷

eXcale開発チームの泉谷(@syguer)です。 今回はNginxのアクセスログをLTSV形式にする方法と、そのログをfluentdで転送する方法について紹介します。 eXcaleではNginxのアクセスログをflluentdで集約し解析を行っていますが、アクセスログの出力形式をLTSVにしています。LTSV形式にすることで後からログに出力したい項目を変更してもfluentdの設定を変更しなく... 続きを読む

Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - 練馬で暮らすエンジニアのつぶやき

2013/09/14 44 users fluentd アクセスログ MySQL ログレベル 練馬

2013-09-15 Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析... 続きを読む