AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

2023/03/18 5 users Partition Projection AWS CDK

Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの... 続きを読む

Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり

2023/03/08 15 users RDS Python 継続

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋が... 続きを読む

ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog

2021/12/07 12 users ANDPAD tech.andpad.co.jp 変遷 課題

はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題... 続きを読む

AWSの各種ログを可視化するOSSのSIEMソリューション「SIEM on Amazon ES」がAWSから公開されたのでCloudTrailログを可視化してみた | Developers.IO

2020/10/27 10 users OSS AWS Developers.IO サーバーレス

AWSの各種ログを可視化するOSSのSIEMソリューション「SIEM on Amazon ES」がAWSから公開されたのでCloudTrailログを可視化してみた AWSから各種ログの可視化やセキュリティ分析が捗るSIEM on Amazon ESというソリューションがOSSで公開されました！マネージドサービスとサーバーレスで構成されたいい感じのSIEMソリュー... 続きを読む

NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う - ujunのブログ

2015/10/07 13 users fluentd elasticsearch mrbgem

2015-10-08 NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う FluentdからNorikraにサーバの各種ログを流し込んで解析する、というのは、 割とよくあるNorikraのユースケースかと思います。 Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO Fluentd + Elasticsearch + ... 続きを読む

Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts

2014/06/09 95 users fluentd BitArts ビジュアライズ Kibana

各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを... 続きを読む

良品計画、「無印良品ネットストア」と「MUJI passport」のビッグデータ分析に「トレジャーデータサービス」を採用 （1/1）：MarkeZine（マーケジン）

2014/03/14 12 users MarkeZine DMS MUJI passport 採用

良品計画は、米トレジャーデータのクラウド型データマネージメントサービス（DMS）「トレジャーデータサービス」を採用し、「無印良品ネットストア」とスマホアプリ「MUJI passport」のビッグデータ分析を行う。 ネットショッピングサイト「無印良品ネットストア」の登録会員数は430万人以上で、平均して毎日11万人超の利用者が同サイトを訪問している。良品計画は、同ストアにアクセスする利用者の各種ログ... 続きを読む

fluentd を使った大規模ウェブサービスのロギング - coﾘ・ー・ﾝ＜2nd life

2012/03/07 144 users ロギング fluentd クックパッド 大規模ウェブサービス

先月行われた Fluentd meetup in Japanというイベントで発表してきました！一ヶ月前だけどエントリーにするの忘れていたので、今更ながらエントリーに。fluentd を利用した大規模ウェブサービスのロギングView more presentations from hotchpotchfluentd、クックパッドではすでに100台以上のサーバに入れて各種ログを集約してますが本当に便利... 続きを読む