CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記

2018/06/06 95 users nginx hiboma fluentd パク in_tail

2018 - 06 - 06 CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグイン で踏んだ際の調査内容を記してい... 続きを読む

td-agent2をAmazon Linuxで実行する ｜ Developers.IO

2015/04/07 55 users td-agent2 Developers.IO 大瀧 最初

ども、大瀧です。 Fluentdディストリビューション Treasure Agent(td-agent2)のAmazon Linuxに対応した最初のリリース、2.2.0が昨日公開されました。EC2でのtd-agent2のインストール方法と、td-agent2に同梱されているWebインターフェースのfluentd-uiの様子をご紹介します。 EC2(Amazon Linux)でのセットアップ手順 公... 続きを読む

fluentd - Treasure Agent(td-agent)の1と2の今後 - Qiita

2014/10/28 76 users articles Qiita fluentd アナウンス 感じ

Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2... 続きを読む

fluentd-server から serf 使って td-agent を再起動できるようにした - sonots:blog

2014/05/23 85 users fluentd sonots Serf ヤツ 再起動

2014年05月23日08:30 カテゴリ fluentd-server から serf 使って td-agent を再起動できるようにした fluentd-server 作った の続き。fluentd-server は Fluentd の設定ファイルを中央集権的に管理するやつ。 Fluentd Server の設定を書き換えた後に、Fluentd に反映するためには、Fluentd を再起動して... 続きを読む

R と Treasure Data で Web サーバのアクセスログ解析 - hiratake55の日記

2013/12/05 60 users アクセスログ解析 Treasure Data サーバ web

2013-12-05 R と Treasure Data で Web サーバのアクセスログ解析 この記事では、Apache HTTP Server で稼働している Web サーバへ Fluentd (td-agent) を導入し、Treasure Data にアクセスログを収集し、収集したデータのアクセスログ解析を行うまでの手順を解説します。 Treasure Data (トレジャーデータ) とは... 続きを読む

fluentd(td-agent) の導入 : Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

2013/12/02 127 users fluentd ヘイト rsync cron 大部分

12月2 fluentd(td-agent) の導入 カテゴリ:インフラサーバ はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バ... 続きを読む

df で見つからない巨大ファイルは lsof で見つけるの術 - HsbtDiary(2013-07-24)

2013/07/24 65 users lsof hiboma HsbtDiary ＤＦ ゾンビ

■ df で見つからない巨大ファイルは lsof で見つけるの術 とあるサーバーの disk usage が 90% を超えていてなんだこれはと、ルートから df でせっせと調べてみても全体の 30% くらいにしかならなくてなんだコレは!と右往左往していたら隣に座っている @hiboma が lsof でプロセスが掴みっぱなしの fd を見つけてくれた。 どうやら td-agent がゾンビのよう... 続きを読む

fluentdを使ってS3へログを送る - サーバーワークス エンジニアブログ

2013/06/27 77 users fluentd リポジトリ 宮澤 JSON形式 ロク

テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __|... 続きを読む

fluent-agent-lite と td-agent で、小さくはじめる fluentd - studio3104::Blog

2012/08/24 140 users fluent-agent-lite fluentd

Fluentdfluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまうアプリケーションサーバにログをパースさせるための負荷をかけたくない そ... 続きを読む