Fluentdのレコードにホスト名を付与する最良の方法 - Y-Ken Studio

2015/10/14 40 users fluentd hostname エラーログ おすす レコード

2015-10-14 Fluentdのレコードにホスト名を付与する最良の方法 fluentd Fluentdでログを集める時にそのサーバのホスト名（hostname）をレコードに追加したい。 そういう時に便利な設定サンプルを紹介します。 ユースケース tailプラグインで収集したApacheのエラーログに、ホスト情報を付与する その他、ございましたら教えてください Filterを用いた手法（オスス... 続きを読む

FluentdでURL付きツイートを漏れなく収集する方法 - Y-Ken Studio

2014/12/22 23 users fluentd 前者 ストリーミングAPI API 選択肢

2014-12-22 FluentdでURL付きツイートを漏れなく収集する方法 fluentd Twitterで言及されている様々な記事のURLを収集したいと考えた時、次の方法が選択肢となります。 定期的にAPIを叩く ストリーミングAPIを使う 前者の方法では単位時間毎のAPIコール制限を容易に超えてしまうので避けたいところですね。 そこでストリーミングAPIを使いたい所ですが、URLのトラッキ... 続きを読む

要確認☆GitHubでうっかり放置してしまったIssueやPullRequestを検索する方法 - Y-Ken Studio

2014/12/09 13 users GitHub PullRequest Issue リポジトリ

2014-12-09 要確認☆GitHubでうっかり放置してしまったIssueやPullRequestを検索する方法 git GitHubで後で見ておこうと放置してしまったIssueやPullRequestはございますか？ ブラウザUIで見られるダッシュボードからはPull RequestsやIssuesが見られますが、 その一覧には自分のリポジトリへ第三者が発行したIssueやPull Requ... 続きを読む

実は簡単なFluentdプラグインのv1-config対応テストの書き方 - Y-Ken Studio

2014/12/04 24 users fluentdプラグイン fluentd 書き方 プラグイン

2014-12-04 実は簡単なFluentdプラグインのv1-config対応テストの書き方 fluentd Fluentd Advent Calendarの4日目は、Fluentdプラグインを数多くメンテナンスする@yoshi_kenがお届けします。 Fluentdはその拡張性の高さから、数多くのプラグインがリリースされております。 これをご覧になる方の中には、プラグインを自作された方もいらっ... 続きを読む

データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio

2014/09/30 186 users fluentd elasticsearch Kibana

2014-09-30 データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 fluentd elasticsearch Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKiban... 続きを読む

Fluentdのお勧めシステム構成パターンについて発表しました - Y-Ken Studio

2014/09/12 165 users fluentd インフラエンジニア養成読本 サーバ ノウハウ

2014-09-12 Fluentdのお勧めシステム構成パターンについて発表しました fluentd 2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！にてトークしてきました。 今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせてい... 続きを読む

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio

2014/07/28 225 users fluentd elasticsearch Kibana

2014-07-28 ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります fluentd elasticsearch 2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を... 続きを読む

elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ - Y-Ken Studio

2014/04/04 334 users elasticsearch ログ解析 ピックアップ 注目 日本

2014-04-04 elasticsearchを全文検索サーバとして活用するなら読んでおきたい、5つのブログ記事をピックアップ elasticsearch LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目... 続きを読む

Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio

2014/01/06 94 users Kibana 粒度 インデックス デフォルト 方法

2014-01-06 Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 ElasticSearch fluentd fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのです... 続きを読む

MySQLでMyISAMからInnoDBに乗り換える際に知らないとハマる、怖い話 - Y-Ken Studio

2013/12/05 361 users InnoDB ストレージエンジン MyISAM Engine

photo by byte MySQLといえば、巷ではInnoDBばかり注目され、MyISAMの地下アイドル化がにわかに語られる今日この頃、皆様いかがお過ごしでしょうか。 まあカジュアルにストレージエンジンを変換するだけで済むなら、簡単なのです。 -- legacy_my_tableをInnoDBストレージエンジンに変換する ALTER TABLE legacy_my_table ENGINE=I... 続きを読む

Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio

2013/12/04 471 users fluentd ログデータ ログ収集ソフトウェア トレンド

2013-12-04 Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 fluentd ElasticSearch MySQL ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngや... 続きを読む

全文検索付きMySQL5.0から5.6への移行にまつわるお話をMySQL Casual Talks Vol.5にて発表しました #mysqlcasual - Y-Ken Studio

2013/10/28 35 users mysqlcasual オラクル 移行 約束 前回

2013-10-26 全文検索付きMySQL5.0から5.6への移行にまつわるお話をMySQL Casual Talks Vol.5にて発表しました #mysqlcasual MySQL mysql-mroonga 2013年10月25日にオラクルで開催された「MySQL Casual Talks Vol.5」に参加しました。 そう、前回の発表での約束を果たすために。という訳で今回は2回目の参加＆... 続きを読む

mruby版MessagePackを利用して著しい性能向上を果たしたmruby-fluent-logger v0.0.2をリリースしました - Y-Ken Studio

2013/09/01 16 users Suzuka JSON 目玉 変更

2013-09-01 mruby版MessagePackを利用して著しい性能向上を果たしたmruby-fluent-logger v0.0.2をリリースしました fluentd mruby mruby-fluent-logger (別名 fluent-logger-mruby) のv0.0.2をリリースしました。 今回の目玉は、シリアライズエンジンの変更です。 これまでのJSONから、suzuka... 続きを読む

MySQLサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - Y-Ken Studio

2013/07/30 64 users Linuxサーバ MySQLサーバ 元RX-7乗り ネタ 日々

2013-07-30 MySQLサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか MySQL MySQLサーバで希に遭遇するディスク残量障害事例と共に紹介します。 こちらは、以下エントリよりネタをパクりましたインスパイアしました。すみません。 Linuxサーバがディスク容量不足になった！何か消さねば！ってなった時にどう対処するか - 元RX-7乗りの適当な日々 Linuxサー... 続きを読む

mrubyからイベントログ収集ツールFluentdを扱う"mruby-fluent-logger"を公開しました - Y-Ken Studio

2013/07/22 35 users flu mruby 情熱 勢い

2013-07-21 mrubyからイベントログ収集ツールFluentdを扱う"mruby-fluent-logger"を公開しました fluentd イベントログ収集ツールFluentdに、mrubyからも構造化ログデータを送りたい。 その情熱に勢いを任せて、"mruby-fluent-logger" を作りましたので公開します。 これを使えば、C/C++アプリに組み込んだmruby等からFlu... 続きを読む

MySQL-5.6.10のInnoDB FTSを用いた全文検索機能についてLTしてきました。#mysqlcasual - Y-Ken Studio はてブロ支店

2013/04/21 73 users mysqlcasual ライトニングトーク オラクル 前夜

2013-04-21 MySQL-5.6.10のInnoDB FTSを用いた全文検索機能についてLTしてきました。#mysqlcasual MySQL 2013年4月17日にオラクルで開催された「MySQL Casual Talks Vol.4」に初参加してきました。 さらにライトニングトーク（LT）もさせて頂けましたのでレポートしたいと思います。 前夜 開催前日の夜に「MySQL Casual ... 続きを読む