タグ 各種ログ
人気順 5 users 50 users 100 users 500 users 1000 usersPython で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋が... 続きを読む
ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog
はじめに こんにちは!今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題... 続きを読む
AWSの各種ログを可視化するOSSのSIEMソリューション「SIEM on Amazon ES」がAWSから公開されたのでCloudTrailログを可視化してみた | Developers.IO
AWSの各種ログを可視化するOSSのSIEMソリューション「SIEM on Amazon ES」がAWSから公開されたのでCloudTrailログを可視化してみた AWSから各種ログの可視化やセキュリティ分析が捗るSIEM on Amazon ESというソリューションがOSSで公開されました!マネージドサービスとサーバーレスで構成されたいい感じのSIEMソリュー... 続きを読む
NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う - ujunのブログ
2015-10-08 NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う FluentdからNorikraにサーバの各種ログを流し込んで解析する、というのは、 割とよくあるNorikraのユースケースかと思います。 Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた | Developers.IO Fluentd + Elasticsearch + ... 続きを読む
Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい!」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを... 続きを読む
良品計画、「無印良品ネットストア」と「MUJI passport」のビッグデータ分析に「トレジャーデータサービス」を採用 (1/1):MarkeZine(マーケジン)
良品計画は、米トレジャーデータのクラウド型データマネージメントサービス(DMS)「トレジャーデータサービス」を採用し、「無印良品ネットストア」とスマホアプリ「MUJI passport」のビッグデータ分析を行う。 ネットショッピングサイト「無印良品ネットストア」の登録会員数は430万人以上で、平均して毎日11万人超の利用者が同サイトを訪問している。良品計画は、同ストアにアクセスする利用者の各種ログ... 続きを読む
fluentd を使った大規模ウェブサービスのロギング - coリ・ー・ン<2nd life
先月行われた Fluentd meetup in Japanというイベントで発表してきました!一ヶ月前だけどエントリーにするの忘れていたので、今更ながらエントリーに。fluentd を利用した大規模ウェブサービスのロギングView more presentations from hotchpotchfluentd、クックパッドではすでに100台以上のサーバに入れて各種ログを集約してますが本当に便利... 続きを読む