オブザーバビリティには限りがない話

2024/09/28 126 users オブザーバビリティ Newrelic マンツーマン 障害 原因

先日NewRelicのSさんにマンツーマンでオブザーバビリティの話をきかせてもらえるという貴重な経験をした。長年アプリケーションレイヤーも含んでシステム運用の経験があると「あるある」な話なのだが、次のようなことが起こる。 何か不具合や障害が起こる 該当時刻のエラーログなどを見るが情報が少なく、原因を特定する... 続きを読む

SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog

2016/12/26 213 users EXPLAIN Slack サーバ リアルタイム 概要

2016 - 08 - 24 SlowQuery を検知して Explain で解析し Slack へ通知 MySQL fluentd fluentdでエラーログをSlackへ通知 の続きです。 kenzo0107.hatenablog.com 概要 MySQL DB サーバ の SlowQuery状況を リアルタイムにSlackで確認できるようにする為に導入しました。 環境 CentOS 6.5... 続きを読む

Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 - TAKUMI SAKAMOTO’S BLOG

2015/10/10 60 users fluentd Datadog nginx SaaS 木曜

Datadog というシステム監視 SaaS のネタです。先週の木曜に「Datadog でカスタムメトリクス送るの面倒じゃない？どうやってるの？」とある人に質問されたので、 自分が知ってる Dogstatsd を使う方法をシェアします。 これはあるサービスの Nginx のアクセスログとエラーログを、 Fluentd 経由で Datadog にカスタムメトリクスとして送って可視化した例になっていて... 続きを読む

サーバーが高負荷の原因はWordPressのxmlrpc.phpを狙った攻撃だった | イリテク

2015/06/25 64 users イリテク xmlrpc.php コンパネ サーバー 高負荷

ブログにアクセスしたらなかなか読み込まない。なんか重たくなってる！異変にきづいてサーバーにターミナルでアクセスを試みるもつながらず。サーバーのコンパネから強制的に再起動をして復旧した。その原因を調べたらWordPressのxmlrpc.phpにあった。 xmlrpc.phpに大量のアクセス apacheのログを調べたら、このように断続的に大量のアクセスがあった。apacheのエラーログをみると「s... 続きを読む

fluentdでつくる監視系 - Qiita

2015/04/25 203 users Qiita fluentd warn アプリケーションサーバ

いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上に... 続きを読む

nginxのリクエストボディのバッファリングに関する問題とその改善策 - Qiita

2015/04/01 210 users Path バッファ バッファリング nginx Qiita

nginxのデフォルトの動作ではクライアントから受け取ったリクエストボディをメモリにバッファリングするようになっています。 このメモリバッファのサイズはclient_body_buffer_sizeで変更することができ、リクエストボディのサイズがこのバッファのサイズを越えた場合はclient_body_temp_pathにファイルとして書き出されます。 ログレベルがwarn以上の場合はエラーログに... 続きを読む

ERRORログが多すぎるWebアプリに出会ったら | GMOインターネット 次世代システム研究室

2015/03/30 64 users GMOインターネット ログファイル Webアプリ ロク 運用

次世代システム研究室のDevOpsネタ担当（最近は運用寄り）のM. Y.です。 最近仕事で、あるWebアプリのログファイルを解析する機会がありました。そのログファイルはERRORレベルのエラーログが非常に多く、それらのERRORログから実際に注意しなければならないログを発見する、というのがそのときの目的でした。 アプリを作り始めたときはログ形式に注意を払っていたのに、そのアプリが歴史を重ねるうちに... 続きを読む

Node.js のログを Fluentd を使って MongoDB に集約する ｜ クラスメソッド開発ブログ

2013/01/29 57 users MongoDB fluentd JSON node.js ロク

最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB ... 続きを読む