CloudWatch Logs Insightsで始める簡単！！ログ集計 - GA technologies Tech Blog

2019/04/12 22 users CloudWatch Logs Insights 永冶

GA technologies SREチームの永冶です。 社内でログを集計した際にCloudWatch Logs Insightsが便利だと感じたので早速ブログにしました。 これからCloudWatch Logs Insightsを使用する方の助けになればと思います。 CloudWatch Logs Insightsとは CloudWatch Logsのログデータを分析する機能です。 専用のクエリ言語が用... 続きを読む

Python + Hive on AWS EMR で貧者のログサマリ

2014/09/14 55 users EMR 貧者 GitHub achiku Name

Python + Hive on AWS EMR で貧者のログサマリ Presentation Transcript 1 Python + AWS EMR 貧者のログ集計 PyCon JP 2014, 09/14 Akira Chiku achiku(29) 2 Name: Akira Chiku Twitter: @_achiku GitHub: @achiku 趣味：炎舞(Akira Chik... 続きを読む

fluentd - ログ集計／時系列DB／可視化ツールの調査結果 - Qiita

2014/08/26 204 users Qiita fluentd 時系列DB 可視化ツール 調査結果

近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良... 続きを読む

InfluxDB の可視化ツール比較

2014/06/27 14 users gra InfluxDB 時系列DB デモ 公式ドキュメント

InfluxDB の可視化ツール比較（というか主にデモ） 公式ドキュメントに載っている可視化ツールの比較です。 @toritori0318 さんのログ集計／時系列DB／可視化ツールの調査結果 に大体まとまっているので、詳しくはそこを見てください。 ツール一覧 Grafana Build-in Admin and Exploere Interface Influga Tasseo 今日は主に Gra... 続きを読む

fluentd - ログ集計／時系列DB／可視化ツールの調査結果 - Qiita

2014/05/21 502 users fluentd Qiita 時系列DB 可視化ツール 調査結果

近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良... 続きを読む

コード内で「現時刻」を気軽に取得してはいけない - nekoya press

2013/07/09 527 users nekoya press 現時刻 Object コード内 日付

日付を扱う処理についていろいろまとめたついでに、わりと簡単なことだけど知らないと落とし穴にハマる系のネタを。 日頃いろいろな処理を書いていて、現時刻を扱うこともは少なくないはずです。ですが、これを適当にやっていると困ることが多々あります。 実行中に「現時刻」を元にした処理が食い違う 例えばこんなコード。ログ集計とかやってるイメージです。 class Analyzer(object): def an... 続きを読む

54行で分散KVSを実装する（レプリケーション機能付き） - 古橋貞之の日記

2009/11/26 283 users 古橋貞之 KVS レプリケーション サーバープログラム Key

Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます（レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行）。簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、（keyのハッシュ値 % サー... 続きを読む