ISUCON夏期講習2015_2 実践編

2015/08/19 58 users 実践編 Satoshi tagomoris isucon

Transcript of "ISUCON夏期講習2015_2 実践編" 1. ISUCONの話 実践編 2015/08/19 ISUCON夏期講習 Treasure Data, Inc. 田籠聡(tagomoris) 2. Satoshi "Moris" Tagomori (@tagomoris) Fluentd, Norikra, MessagePack-Ruby,... Docker log... 続きを読む

Fluentd + Elasticsearch + Kibana + Norikra+ Zabbixを使ってOpenStackのログ解析してみた | コラム | コラム・関連書籍 | NTTソフトウェア株式会社

2015/07/17 77 users OpenStack fluentd Kibana フロー 有無

2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常... 続きを読む

メルカリでのNorikraの活用、 Mackerelを添えて

2015/06/03 97 users mackerel mercari ダウンロー メルカリ Inc

Transcript 1. メルカリでのNorikraの活用、 Mackerelを添えて Norikra Meetup#2 Masahiro Nagano @kazeburo 2. Me • 長野雅広(Masahiro Nagano) • @kazeburo • Mercari, Inc. • Operations Engineer, Site Reliability 3. 主要KPI ダウンロー... 続きを読む

Norikraを支える謎技術：Esper EPLっておもしろ。 ｜ Developers.IO

2015/01/27 51 users Cep クエリ言語 Developers.IO 内部 エンジン

Norikra使ってますかー？ もちろん使ってますよね！ Norikraって内部ではEsperTech Inc.がオープンソース公開しているEsperというJavaベースのガチなCEP (Complex Event Processing)エンジンを利用していて、そのクエリ言語であるEPL (Event Processing Language)を用いることで、 a highly scalable, ... 続きを読む

ログ解析にNorikraを使ってみた - hase log

2014/12/17 148 users Advent Calendar アドテクスタジオ ログ解析

2014-12-16 ログ解析にNorikraを使ってみた Norikra この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告でした。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。@kakerukaeruさんにやろうぜ！って誘わ... 続きを読む

fluentd pluginで集計処理をする(Norikra以外で) - Qiita

2014/12/09 52 users Qiita fluentd 一石 かけら 集計

fluentd pluginで集計処理をする(Norikra以外で)fluentd(224)moaikidsが2014/12/09に投稿(2014/12/09に編集)編集履歴(2)編集リクエストを作成する はじめに 世間的には「fluentdで集計 ≒ Norikra!!!!!」という流れで、それに対して一石を投じる気のかけらも私には無いわけですが、Norikraを用いるまでもない軽微な処理を実行... 続きを読む

Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ

2014/12/06 82 users fluentd Cool nginx nGI アクセスログ

2014-12-07 Fluentd と Norikra をもっとカジュアルに使おう Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Ngi... 続きを読む

NorikraでリアルタイムUU数表示を実現する - beatsync.net

2014/10/08 51 users とっかかり 出番 ボク リアルタイム beatsync.net

どーも、れもんです。みなさんNorikra使ってますか? えっ使ってない? まぁストリーム集計処理っていうのがなかなか使いどころ難しいですものねー。よっぽど速報値が必要な場面じゃないと出番がないし、ぼくもインストールしたけどほぼ使ってないという今日この頃です。 ということで! 今回はNorikraを使うとっかかりとして、最近リリースしたサービスのユニークユーザ数をリアルタイムに出したいなぁというお... 続きを読む

fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog

2014/05/04 77 users fluentd sonots 集計処理 理由 設定方法

2014年05月04日15:27 カテゴリ fluent-plugin-datacounter を norikra に置き換える 本記事では、Fluentd で fluent-plugin-datacounter を使って行っていた集計処理を Norikra に委譲する設定方法を解説します。まえおきそもそもなぜ置き換える必要があるのかというと、ズバリ Fluentd は「分散集計処理」をするのには... 続きを読む

Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog

2014/04/01 83 users 片時 error log $c- エラー

2014-03-16 Norikraでログ集計してアプリのエラーを素早く検知しようという話 Perl Norikra 背景 webアプリを書いていると，以下のようなロギングコードを至る所にちりばめる事になると思います． $c->log(error => "Chou Yabai ERROR!"); ただいくらログを吐いても，アプリのログからは片時も目を話さないよ！！みたいな真面目なエンジニアじゃない... 続きを読む

dockerなら5分で動く！ nginxのログをfluentdで集めてnorikraでストリーム分析 - Qiita

2014/03/02 194 users nginx Qiita fluentd Docker ロク

はじめに ようへいさんのポストを参考にしてdocker上でnginxとfluentdとnorikraを動かせたので、docker indexにイメージを掲載した。dockerのある環境ならあっという間に動くはず。 準備 dockerが動くこと ホスト側でfluentd用のファイルディスクリプタ設定を済ませていること 手順 norikraを動かす まずはログの集約先となるnorikraを動かす。 $... 続きを読む