Norikra の集計結果を直接 Zabbix に送る norikra-listener-zabbix をリリースしました - tkuchikiの日記

2016/02/08 8 users RubyGems Zabbix tkuchiki 集計結果

2016 - 02 - 05 Norikra の集計結果を直接 Zabbix に送る norikra-listener-zabbix をリリースしました Norikra Plugin Zabbix Norikra から直接 Zabbix にデータを送る norikra-listener-zabbix ( rubygems ) をリリースしました。 Zabbix へデータを送信するコードのほとんどは... 続きを読む

flentdと連動して集計処理を行うNorikraの導入方法 | OXY NOTES

2015/12/17 29 users CentOS6 数値 インストール 集計処理 プラグイン

NorikraをCentOS6にインストール ビックデータ時代のログ管理ソフト flentd 。 その利便性と安定した動作から、業界ではログ管理の標準になりつつあります。 そんなflentdにも苦手な分野があります。 条件を指定した集計処理です。環境によって異なる集計処理を実装するには数値を操作するプラグインを組み合わせる必要がありました。 カウント処理で言えば「 fluent-plugin-da... 続きを読む

Norikraのクエリをテキストファイルで管理する - 酒日記 はてな支店

2015/11/25 43 users クエリ WebUI suspend resume Remove

2015 -11 -25 Norikraのクエリをテキストファイルで管理する Norikra に登録されているクエリが大量にある場合、WebUIで登録、編集をしていると 複数人 での共同作業で管理しきれなくなるため、クエリをファイルにしておいて リポジトリ で管理したくなります。 norikra-clientには query add, remove, suspend, resume などの機能が従... 続きを読む

norikra-listener-mackerel で Norikra のクエリ結果を直接 Mackerel に投げる - 酒日記 はてな支店

2015/11/09 32 users mackerel クエリ結果 はてな支店 酒日記 結果

2015-11-09 norikra-listener-mackerel で Norikra のクエリ結果を直接 Mackerel に投げる Norikra でクエリした結果を Mackerel に投げたい場合、これまでは fluent-plugin-norikra で取得して fluent-plugin-mackerel で送信する、という作りにしていたと思います。 Norikra 1.2以降で... 続きを読む

NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う - ujunのブログ

2015/10/07 13 users fluentd elasticsearch mrbgem

2015-10-08 NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う FluentdからNorikraにサーバの各種ログを流し込んで解析する、というのは、 割とよくあるNorikraのユースケースかと思います。 Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO Fluentd + Elasticsearch + ... 続きを読む

[LT] Norikraで作るPHPの例外検出システム

2015/08/29 14 users PHP

YAPC::Asia Tokyo 2015 (c) CC-BY-NC http://yapcasia.org/2015/news/08/lightning-talks-aug-21.html 続きを読む

ISUCON夏期講習2015_2 実践編

2015/08/19 58 users 実践編 Satoshi tagomoris isucon

Transcript of "ISUCON夏期講習2015_2 実践編" 1. ISUCONの話 実践編 2015/08/19 ISUCON夏期講習 Treasure Data, Inc. 田籠聡(tagomoris) 2. Satoshi "Moris" Tagomori (@tagomoris) Fluentd, Norikra, MessagePack-Ruby,... Docker log... 続きを読む

ISUCON夏期講習2015_1 概要編

2015/08/19 33 users 概要編 Satoshi tagomoris isucon

Transcript of "ISUCON夏期講習2015_1 概要編" 1. ISUCONの話 概要編 2015/08/19 ISUCON夏期講習 Treasure Data, Inc. 田籠聡(tagomoris) 2. www.slideshare.net/tagomoris 3. Satoshi "Moris" Tagomori (@tagomoris) Fluentd, Norikra,... 続きを読む

Fluentd + Elasticsearch + Kibana + Norikra+ Zabbixを使ってOpenStackのログ解析してみた | コラム | コラム・関連書籍 | NTTソフトウェア株式会社

2015/07/17 77 users OpenStack fluentd Kibana フロー 有無

2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常... 続きを読む

Norikraでアプリログを集計してリアルタイムエラー通知 # Norikra meetup

2015/06/06 13 users Session JRuby Norikra meetup

Transcript 1. Norikra meetup session #2 kawamuray 2. ● 名前: kawamuray ● 本業: 大学院修士課程2年 ● 副業1: アルバイトサーバサイドエンジニア@LINE Corp ● 副業2: Student@Google Summer of Code ● Norikraとの関わり: jrubyでudf書ける方法発明したりした About ... 続きを読む

Norikra Meetup #2 参加レポート - 無印吉澤@HatenaBlog

2015/06/05 28 users ATND Norikra meetup 参加レポート 周囲

2015-06-04 Norikra Meetup #2 参加レポート Norikra Fluentd イベントページ: Norikra meetup #2 : ATND 僕自身はNorikra使ったことないのですが、周囲には使っている人がいて評判も良いので、他の人のユースケースも聞いてみたい、あわよくば自分とこの業務にもねじ込みたい、と思い参加してきました。期待通り、ユースケースを色々聞けて面白... 続きを読む

Norikra meetup #2で発表してきました #norikra - BLOG::はるかさん

2015/06/04 17 users Norikra meetup Blog はるかさん

2015-06-04 Norikra meetup #2で発表してきました #norikra Norikra meetup #2でNorikraをログ解析に使うというごくごく一般的な内容の発表をしてきました。主催の@tagomorisさん、会場を提供頂いた:DeNAさん、皆様ありがとうございました。1年前に導入を検討し始めて、別に特段変わったこともしてないし、すごくヘビーに使っている訳でもないので... 続きを読む

Norikraでwebサービスを守る話をしてきた - 酒日記 はてな支店

2015/06/04 48 users アクセスログ 兆候 Norikra meetup 余裕 酒日記

2015-06-04 Norikraでwebサービスを守る話をしてきた Norikra meetup #2でLTをしてきました。LTといいつつ時間に余裕があったので15分以上しゃべっていたような… Norikra meetup #2 : ATNDatnd.org 発表資料はこちらです。 speakerdeck.com Norikraで不正アクセスの兆候があるアクセスログを検知して、検知次第IPアド... 続きを読む

メルカリでのNorikraの活用、 Mackerelを添えて

2015/06/03 97 users mackerel mercari ダウンロー メルカリ Inc

Transcript 1. メルカリでのNorikraの活用、 Mackerelを添えて Norikra Meetup#2 Masahiro Nagano @kazeburo 2. Me • 長野雅広(Masahiro Nagano) • @kazeburo • Mercari, Inc. • Operations Engineer, Site Reliability 3. 主要KPI ダウンロー... 続きを読む

Norikra v1.3.0: 大幅なアップデート - たごもりすメモ

2015/04/27 18 users りすメモ アップデート OSSプロダクト バージョン

2015-04-27 Norikra v1.3.0: 大幅なアップデート 継続的にあれこれアップデートを続けてきているOSSプロダクト Norikra ですが、このたびあれこれ機能を追加したバージョン v1.3.0 をリリースしました。tagomoris in English — Norikra v1.3.0, more flexible stream processingv1.0.0を出してから... 続きを読む

Norikraでそこそこ手軽にNetFlow解析 - yunazuno.log

2015/03/31 45 users バックボーンネットワーク janog トラフィック 内訳 回線

2015-03-31 Norikraでそこそこ手軽にNetFlow解析 Network 去年のJANOGで別の方が発表された内容とダダ被りではあるものの，折角なのでメモ程度に書いておく． 概要 データセンタネットワークやバックボーンネットワークの運用をやっていると，インターネットに出入りするトラフィックの内訳 (どのISP向けのトラフィックが多いのか，どの回線にトラフィックが乗っているか，等) を... 続きを読む

Norikraを支える謎技術：Esper EPLっておもしろ。 ｜ Developers.IO

2015/01/27 51 users Cep クエリ言語 Developers.IO 内部 エンジン

Norikra使ってますかー？ もちろん使ってますよね！ Norikraって内部ではEsperTech Inc.がオープンソース公開しているEsperというJavaベースのガチなCEP (Complex Event Processing)エンジンを利用していて、そのクエリ言語であるEPL (Event Processing Language)を用いることで、 a highly scalable, ... 続きを読む

ログ解析にNorikraを使ってみた - hase log

2014/12/17 148 users Advent Calendar アドテクスタジオ ログ解析

2014-12-16 ログ解析にNorikraを使ってみた Norikra この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告でした。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。@kakerukaeruさんにやろうぜ！って誘わ... 続きを読む

fluentd pluginで集計処理をする(Norikra以外で) - Qiita

2014/12/09 52 users Qiita fluentd 一石 かけら 集計

fluentd pluginで集計処理をする(Norikra以外で)fluentd(224)moaikidsが2014/12/09に投稿(2014/12/09に編集)編集履歴(2)編集リクエストを作成する はじめに 世間的には「fluentdで集計 ≒ Norikra!!!!!」という流れで、それに対して一石を投じる気のかけらも私には無いわけですが、Norikraを用いるまでもない軽微な処理を実行... 続きを読む

Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ

2014/12/06 82 users fluentd Cool nginx nGI アクセスログ

2014-12-07 Fluentd と Norikra をもっとカジュアルに使おう Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Ngi... 続きを読む

NorikraでリアルタイムUU数表示を実現する - beatsync.net

2014/10/08 51 users とっかかり 出番 ボク リアルタイム beatsync.net

どーも、れもんです。みなさんNorikra使ってますか? えっ使ってない? まぁストリーム集計処理っていうのがなかなか使いどころ難しいですものねー。よっぽど速報値が必要な場面じゃないと出番がないし、ぼくもインストールしたけどほぼ使ってないという今日この頃です。 ということで! 今回はNorikraを使うとっかかりとして、最近リリースしたサービスのユニークユーザ数をリアルタイムに出したいなぁというお... 続きを読む

Norikra Meetup #1に参加してきました - 随所に主と作れば、立処皆真なり

2014/07/10 24 users 随所 Norikra meetup Togetter SLA

2014-07-10 Norikra Meetup #1に参加してきました 比戸(@sla)です。お手軽なストリーム向けSQL処理系Norikraの勉強会に参加してきました。 一言で言うと、「Norikra使われてるんだ」感と、「（自分でも）Norikra何かに使えそう」感が同時感じられる、濃密な素晴らしい勉強会だったと思います。ハッシュタグも活発で、Togetterはこちらでまとめられています。... 続きを読む

勉強会メモ - Norikra meetup - よしだのブログ

2014/07/09 44 users Norikra meetup 勉強会メモ アツ 集計 ロク

2014-07-09 勉強会メモ - Norikra meetup 昨日の今日で Norikra meetup に参加しています！アツい！かなり参考になった＆早速つかってみようと思いました！まずは、ログの集計からかなー。 というわけで、以下メモです。 ストリーム処理とは、およびNorikraの概要と機能 @tagomoris Stream processing and Norikra from S... 続きを読む

fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog

2014/05/04 77 users fluentd sonots 集計処理 理由 設定方法

2014年05月04日15:27 カテゴリ fluent-plugin-datacounter を norikra に置き換える 本記事では、Fluentd で fluent-plugin-datacounter を使って行っていた集計処理を Norikra に委譲する設定方法を解説します。まえおきそもそもなぜ置き換える必要があるのかというと、ズバリ Fluentd は「分散集計処理」をするのには... 続きを読む

#Fluentd + #Norikra でaccess.logとかdstatを扱うめも - Qiita

2014/04/03 43 users Qiita fluentd dstat

あとでblog書く、たぶん。 とりあえず途中経過メモ。 nginxの設定 LTSVで扱いたいのでこちらを参考にこんな設定ファイル書いて、 # cat /etc/nginx/log_format.conf log_format ltsv 'time:$time_iso8601' '\tremote_addr:$remote_addr' '\trequest_method:$request_metho... 続きを読む