alp と Plack::Middleware::QueryCounter を合わせて使うと捗る - 酒日記 はてな支店

2017/12/04 22 users Middleware Plack tkuchiki 形式 通常

2017 - 12 - 04 alp と Plack::Middleware::QueryCounter を合わせて使うと捗る @tkuchiki 氏が作っている alp ( Access Log Profiler) は、もはや ISUCON 競技者必須ツールとなった、LTSV 形式の アクセスログ をいい感じに集計してくれるツールです。 github.com 通常は alp では reqtime... 続きを読む

trdsqlというコマンドラインツールを作った - Qiita

2017/08/16 292 users コマンドラインツール GitHub Qiita TSV CSV

trdsqlというコマンドラインツールを作りました。 Go で作ってます。 githubの trdsql からダウンロード出来ます。 また Linux/Windows/macOSのバイナリ もあります。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバ... 続きを読む

lltsvでLTSV形式のデータをサクサクパースしよう - Mercari Engineering Blog

2017/05/09 143 users cubicdaiya Key value SREチーム コロン

2017 - 05 - 09 lltsvでLTSV形式のデータをサクサクパースしよう SREチームの @cubicdaiya です。 今回は lltsv というツールを利用して LTSV 形式のデータを処理する術について解説します。 LTSV LTSV はLabeled Tab-separated Valuesの略で、コロンで区切られたラベルと値の組み合わせ(key:value)をタブ区切りで表現... 続きを読む

LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記

2015/09/25 104 users tkuchiki アクセスログ サーバ GitHub バイナリ

2015-09-25 LTSV 形式の Web サーバのアクセスログを集計するツールを作りました go golang LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外で... 続きを読む

NginxのアクセスログをLTSV形式にしてfluentdで回収する | eXcale Developer's Blog

2014/07/02 26 users nginx fluentd eXcale syguer 泉谷

eXcale開発チームの泉谷(@syguer)です。 今回はNginxのアクセスログをLTSV形式にする方法と、そのログをfluentdで転送する方法について紹介します。 eXcaleではNginxのアクセスログをflluentdで集約し解析を行っていますが、アクセスログの出力形式をLTSVにしています。LTSV形式にすることで後からログに出力したい項目を変更してもfluentdの設定を変更しなく... 続きを読む

ログ収集＆分析サービス Treasure Data を試してみた - まちゅダイアリー(2013-06-14)

2013/06/15 47 users まちゅダイアリー Treasure Data 自前 ロク 収集

ログ収集＆分析サービス Treasure Data を試してみた最近、 LTSV や fluentd など、ログ分析が賑わっているので、試しに使ってみたい。といっても、自前でログを貯めこむ仕組みを作るのは大変なので、ログの収集・分析をしてくれる Treasure Data を試してみた。 Treasure Data についてはこちらの記事が参考になる。 ターゲットは国内製造業のビッグデータ!? T... 続きを読む

stdout-hook と LTSV #fluentdcasual - naoyaのはてなダイアリー

2013/02/15 42 users naoya fluentdcasual はてなダイアリー

Fluentd Casual Talks #2 に行ってきました。のっけから @just_do_neet さんがで「1TB強/dayのログを毎日裁いている」とか、「バッファ溢れとかで1TBのログから1件でもデータロスしようものなら障害」とか恐ろしいことをさらっとのたまっていて全然カジュアルじゃない! と焦りましたが、面白かったです。それぞれのプレゼンのレポートはどなたかがいずれまとめてくれるでしょ... 続きを読む

宮川さんのポッドキャストと、昔話 - naoyaのはてなダイアリー

2013/02/14 291 users RubyMotion naoya perl 昔話 伊藤直也さん

第１回はnaoyaさん(@naoya_ito)をゲストに迎えてポッドキャスト、LTSV、RubyMotion、Perlなどについて話しました。Podcast ep1: 2013/02/12 ゲスト: 伊藤直也さん 収録時間 52:53 |...もう昨晩のことになってしまいましたが @miyagawaさんのポッドキャストに出演しました。初めての経験でしたが、喋っている方としてもとても楽しめました。話... 続きを読む

ExcelでLTSV読むよー - aikeの日記

2013/02/13 97 users aike ログファイル 罫線 VBA Excel

LTSVが最近熱いですね。ログファイルのフォーマットはこれで決まり、みたいな。とはいえ、業務システムだといまだに人月計算とスーツとExcelの世界なので、上司に提出する場合とかそのあたりの親和性をなんとかしたいところです。そんなわけでExcelでLTSVを読めるようにVBAを書いてみました。これでログを罫線で囲ったりセルに色をつけたりできます！嬉しいのか、それ。　　 Attribute VB_Na... 続きを読む

Podcast ep1: 2013/02/12 ゲスト: 伊藤直也さん ...

2013/02/13 118 users Podcast ep 伊藤直也さん Bulknews ins

Podcast ep1: 2013/02/12 ゲスト: 伊藤直也さん 第１回は伊藤直也さんをゲストに迎えてポッドキャスト、LTSV、RubyMotion、Perlなどについて話しました。 番組へのフィードバックは Twitter @miyagawa またはハッシュタグ #bulknews にてお寄せください。 Show Notes 02:38 5by5, Mule Radio 03:33 Ins... 続きを読む

LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー

2013/02/09 460 users JSON httpd naoya TSV アクセスログ

LTSV って何?Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。仕様は http://ltsv.org にまとまっています。随時更新中です。LTSV は単なるログのフォーマットであって、それ以上で... 続きを読む

LTSV のもうひとつのメリット、あるいは、プログラムでログを出力する際に気をつけるべきこと - kazuhoのメモ置き場

2013/02/08 129 users kazuho セパレータ httpd http メモ置き場

Labeled Tab-separated Values (LTSV) がブームのようです。LTSV については、ラベルをつけることで柔軟に拡張できるという点が、その特徴として取り上げられますが、もう一点、タブをセパレータに使うことでログのパースが簡単になった、という点を忘れるべきではないでしょう。特に httpd のログは NCSA httpd という HTTP/0.9 時代のWebサーバのログ... 続きを読む

404 Blog Not Found:perl - Apache Combined Log を LTSV に

2013/02/08 68 users stanaka perl タグ 準備 はてなブックマーク

びっぐうぇ～ぶに乗る前の準備として。 Labeled Tab-separated Values (LTSV) Labeled Tab Separated Valuesノススメ - stanakaのブログ タグ「ltsv」を検索 - はてなブックマーク 続きを読む 続きを読む

Big Sky :: 日本語プログラミング言語「なでしこ」で LTSV パーサ書いた

2013/02/08 25 users なでしこ Big Sky 日本語プログラミング言語

日本人なら日本語だろ！！ #!cnako データとはハッシュ 「hoge:foo  bar:baz time:20:30:58」を「\t」で正規表現区切る それを反復 それを「^([^:]+):(.*)」で正規表現マッチ データ＠抽出文字列[0]は抽出文字列[1] データを表示 実行結果 time=20:30:58 bar=baz hoge=foo 参考資料 【今北産業】3分で分かるLTSV業界の... 続きを読む

Labeled Tab-separated Values (LTSV)

2013/02/07 365 users TSV

Labeled Tab-separated Values (LTSV) : Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is s... 続きを読む

【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリー

2013/02/07 323 users naoya 今北産業 hotchpotch stanaka

id:stanaka がはてなで使って居るログフォーマットが LTSV だよーとブログに書く Labeled Tab Separated Valueノススメ - stanakaのブログ Web界隈のエンジニアたち、特にログとか、#fluentd 関係者がざわつく 「ざわ・・・ざわ・・・」 @t_wada 「Unix 哲学の大事な点が形になっていると思う。素晴らしい。」 @hotchpotch 「c... 続きを読む

ltsview ─ LTSVフォーマットフィルタ (Text::LTSV 0.03) - naoyaのはてなダイアリー

2013/02/07 48 users naoya text フォーマッタ CPAN shipit

LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー で試作した LTSV のフォーマッタが思いの他捗ったので ltsview という名前でもう少し機能を整えてみました。Text::LTSV に同梱する形で先ほど CPAN に shipit したので、CPAN で取得可能になったら cpanm Text::LTSV で ltsview ごとインストールさ... 続きを読む

LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー

2013/02/06 127 users naoya YAML Key-Value フォーマット タブ

引き続き LTSV について。Text::LTSV はやってることは唯のタブの split でしょうもないのだけど、せっかく作ったんだし何か利用方法はないかなと考えた。LTSV のログは欠点があってそのままでは見づらいこと。Text::LTSV でハッシュになるのだから、YAML とかで出力したらどうなるか試してみよう。さらに、YAML に色づけする YAML::Tiny::Color というのが... 続きを読む