フリーのビッグデータ分析学習環境を使って、全文検索アプリケーションを構築してみる （1/3）：CodeZine

2015/06/19 40 users CodeZine Spark サーバ 直近 バスケット分析

前回の記事では、Sparkを使ってバスケット分析を行いました。最終回では、Apache Solrベースの全文検索エンジン「Cloudera Search」を使って全文検索アプリケーションを構築します。 サーバのログは常に生成され続けます。一日に一回アップロードするという運用では、直近で発生しているイベントを検索することができません。Cloudera Searchを使えば、生成されるログメッセージを... 続きを読む

Fluentdを使い始めて１週間でわかったこと |

2012/12/25 93 users fluentd JSON スライド １週間 エントリー

巷で話題のFluentdをいじってみてわかったことをいろいろ Fluentdって？ 開発者の古橋さんのスライドによると “It’s like syslogd , but uses JSON for log messages’’ syslogdのようなものだけど、ログメッセージにJSON使ってますよ　ってことらしいです。 詳しくはこのエントリー http://d.hatena.ne.jp/viver... 続きを読む

イベントログ収集ツール fluent リリース！ - 古橋貞之の日記

2011/09/29 589 users 古橋貞之 イベントログ 古橋 集約 リリース

こんにちは。Treasure Data の古橋です^^;先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。ただ syslogd とは異なり、ログメッセージに テキストではな... 続きを読む