オブザーバビリティには限りがない話

2024/09/28 126 users オブザーバビリティ Newrelic マンツーマン 障害 原因

先日NewRelicのSさんにマンツーマンでオブザーバビリティの話をきかせてもらえるという貴重な経験をした。長年アプリケーションレイヤーも含んでシステム運用の経験があると「あるある」な話なのだが、次のようなことが起こる。 何か不具合や障害が起こる 該当時刻のエラーログなどを見るが情報が少なく、原因を特定する... 続きを読む

Go言語のAPIサーバーの冗長なエラーログを40%削減した話 #LayerXテックアドカレ - LayerX エンジニアブログ

2023/11/29 23 users upamune 満身創痍 LayerXテックアドカレ 冗長

こんにちは。バクラク申請・経費精算エンジニアの@upamuneです。先週末は30kmのトレイルレースがありましたが、今週末はフルマラソンがあるので満身創痍です。 この記事はLayerXテックアドカレ2023の22日目の記事です。 私はなぜか3日分もテックアドカレに入れてしまったのですが、2回目の今回はAPIサーバーのエラーログ... 続きを読む

ブラウザで何が起こっているのかを知る Reporting API と ReportingObserver | blog.jxck.io

2020/01/18 15 users アクセスログ report jxck.io サーバ 基盤

Intro Web サービスにおいては通常、 Web サーバから取得できるアクセスログやエラーログを取得し解析する基盤を保有するだろう。 しかし、 Web サーバから取得できる情報だけでは、ブラウザで何が起こったのかを知るのは限界がある。 今回は、ブラウザ内で起こったことを知るための Reporting API と、その Report の収... 続きを読む

PHP のエラーログを root が作成してしまってアプリから書けなくなる問題 - Qiita

2019/08/21 24 users Qiita logrotate root log PHP

なにかの拍子で root で php を実行してエラーが出力されると /var/log/php/php.log が root 所有の 0644 とかで作成されてしまい、アプリケーションの実行ユーザーからエラーログが書けなくなってしまいます。 この問題を解決するためのいくつかの案。 案：logrotate で 0666 でファイルを作成する logrotate で次のよ... 続きを読む

Amazon Elasticsearch Service エラーログの表示 | Amazon Web Services ブログ

2018/08/02 14 users 警告 エラー Amazon CloudWatch Logs

Amazon Web Services ブログ Amazon Elasticsearch Service エラーログの表示 本日、Amazon Elasticsearch Service（Amazon ES）は、Amazon CloudWatch Logs へのエラーログ出力のサポートを発表しました。 この新機能は、エラーログをキャプチャする機能が提供され、サービスの運用中に発生したエラーや警告に関する情... 続きを読む

SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog

2016/12/26 213 users EXPLAIN Slack サーバ リアルタイム 概要

2016 - 08 - 24 SlowQuery を検知して Explain で解析し Slack へ通知 MySQL fluentd fluentdでエラーログをSlackへ通知 の続きです。 kenzo0107.hatenablog.com 概要 MySQL DB サーバ の SlowQuery状況を リアルタイムにSlackで確認できるようにする為に導入しました。 環境 CentOS 6.5... 続きを読む

Fluentdのレコードにホスト名を付与する最良の方法 - Y-Ken Studio

2015/10/14 40 users fluentd hostname おすす filter サーバ

2015-10-14 Fluentdのレコードにホスト名を付与する最良の方法 fluentd Fluentdでログを集める時にそのサーバのホスト名（hostname）をレコードに追加したい。 そういう時に便利な設定サンプルを紹介します。 ユースケース tailプラグインで収集したApacheのエラーログに、ホスト情報を付与する その他、ございましたら教えてください Filterを用いた手法（オスス... 続きを読む

Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 - TAKUMI SAKAMOTO’S BLOG

2015/10/10 60 users fluentd Datadog nginx SaaS 木曜

Datadog というシステム監視 SaaS のネタです。先週の木曜に「Datadog でカスタムメトリクス送るの面倒じゃない？どうやってるの？」とある人に質問されたので、 自分が知ってる Dogstatsd を使う方法をシェアします。 これはあるサービスの Nginx のアクセスログとエラーログを、 Fluentd 経由で Datadog にカスタムメトリクスとして送って可視化した例になっていて... 続きを読む

サーバーが高負荷の原因はWordPressのxmlrpc.phpを狙った攻撃だった | イリテク

2015/06/25 64 users イリテク xmlrpc.php コンパネ サーバー 高負荷

ブログにアクセスしたらなかなか読み込まない。なんか重たくなってる！異変にきづいてサーバーにターミナルでアクセスを試みるもつながらず。サーバーのコンパネから強制的に再起動をして復旧した。その原因を調べたらWordPressのxmlrpc.phpにあった。 xmlrpc.phpに大量のアクセス apacheのログを調べたら、このように断続的に大量のアクセスがあった。apacheのエラーログをみると「s... 続きを読む

Nginx で私も同じ現象が起きたてたので助かりました。phpがエラーログを全然出してくれなくてハマった件 - mobile hack 楽しい生活情報を携帯しよう

2015/06/10 36 users output nginx PHP-FPM PHP 現象

2015-06-10 Nginx で私も同じ現象が起きたてたので助かりました。phpがエラーログを全然出してくれなくてハマった件 PHP-FPM Nginx phpがエラーログを全然出してくれなくてハマった件altarf.netNginx 側の設定かと思ったら、 PHP-FPM の設定の catch_workers_output を変更する必要がありました。 catch_workers_outpu... 続きを読む

RailsのエラーモニタリングツールErrbitのChefレシピ - 割り箸ポテチ

2015/04/27 15 users Rails Riding Rails 加筆 発表資料 大阪

4/17に大阪で開催されたRailsの勉強会でLTしてきました。 Railsをのりこなせ！ – Riding Rails勉強会 » Riding Rails 勉強会 #1 Rails をのりこなせ！やりました！発表資料も！ TECHSCORE BLOG 自分の発表資料をちょっと加筆修正したものを以下に公開しました。 Railsのエラーログとの付き合い方 from Taisuke Kawahara ... 続きを読む

fluentdでつくる監視系 - Qiita

2015/04/25 203 users Qiita fluentd warn アプリケーションサーバ

いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上に... 続きを読む

nginxのリクエストボディのバッファリングに関する問題とその改善策 - Qiita

2015/04/01 210 users Path バッファ バッファリング nginx Qiita

nginxのデフォルトの動作ではクライアントから受け取ったリクエストボディをメモリにバッファリングするようになっています。 このメモリバッファのサイズはclient_body_buffer_sizeで変更することができ、リクエストボディのサイズがこのバッファのサイズを越えた場合はclient_body_temp_pathにファイルとして書き出されます。 ログレベルがwarn以上の場合はエラーログに... 続きを読む

ERRORログが多すぎるWebアプリに出会ったら | GMOインターネット 次世代システム研究室

2015/03/30 64 users GMOインターネット ログファイル Webアプリ ロク 運用

次世代システム研究室のDevOpsネタ担当（最近は運用寄り）のM. Y.です。 最近仕事で、あるWebアプリのログファイルを解析する機会がありました。そのログファイルはERRORレベルのエラーログが非常に多く、それらのERRORログから実際に注意しなければならないログを発見する、というのがそのときの目的でした。 アプリを作り始めたときはログ形式に注意を払っていたのに、そのアプリが歴史を重ねるうちに... 続きを読む

CPU、メモリにネットワーク、さらにログをモニタリングする『ARM』コマンド | 俺的備忘録 〜なんかいろいろ〜

2014/09/14 13 users 備忘録 ARM CPU メモリ コマンド

以前、『nmon』『Glances』そして『saidar』といったモニタリングコマンドを紹介したが、今回のコマンド『ARM』もそれらと似たコマンド。 相違点としては、このコマンドはエラーログの監視も同時にできることだ。今まで紹介したコマンドでは、ログの監視は出来なかった。 以下がプロジェクトのページ Arm 1.インストール こちらのページを参考に、以下のコマンドでインストールを行う。 $ sud... 続きを読む

[Monolog][Symfony] Monolog が神過ぎる件 ～エラーログをメールで送ろう～ - Issei.M's Techlog

2013/04/15 23 users symfony Monolog LogBook Python

2013-04-15 [Monolog][Symfony] Monolog が神過ぎる件 ～エラーログをメールで送ろう～ PHP Monolog Symfony Log Symfony で採用されているロガーライブラリMonologは Python のLogBookと言うライブラリに影響を受けており、 柔軟なロギング処理が可能です。 今回は、Symfony の運用環境でERRORレベル以上のログを... 続きを読む

Node.js のログを Fluentd を使って MongoDB に集約する ｜ クラスメソッド開発ブログ

2013/01/29 57 users MongoDB fluentd JSON node.js ロク

最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB ... 続きを読む