セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか (1/2)：セキュリティログ分析基盤活用入門（1） - ＠IT

2019/11/13 51 users ロク セキュリティ業務 基礎知識 セキュリティログ 連載

セキュリティログ分析基盤活用入門（1）：セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか (1/2) セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。初回は、セキュリティログに関する基礎知識や分析基盤に求められることなどについて。 リクルートテクノロジーズの... 続きを読む

NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

2019/07/03 178 users Repro NLB SRE ファイルディスクリプタ 伊豆

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問... 続きを読む

数百GBのデータをMySQLからBigQueryへ同期する - Mercari Engineering Blog

2018/06/28 166 users BigQuery MySQL メルカリ siroken3 背景

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQuery... 続きを読む

スタートアップでも出来る分析基盤 - AppBrew tech blog

2018/03/26 89 users AppBrew tech blog スタートアップ 深澤

2018 - 03 - 26 スタートアップでも出来る分析基盤 こんにちは、遊撃エンジニア兼代表の深澤です。 最近はインフラからサーバーをメインにいじっています。昔はクライアントも書いていました。 弊社は、「再現性を持ってユーザーに刺さるプロダクトをつくる」ことを目指しチームビルディングをしています。 なので、創業からのてんやわんや（スタートアップは皆そうです）の中で、数字とちゃんと向き合う方法を... 続きを読む

デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々

2017/02/17 155 users devsumi DeNA デブサミ2017 元RX-7乗り

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜... 続きを読む

ABテストの対象をいい感じに割り振る方法 - Gunosyデータ分析ブログ

2017/02/08 77 users ABテスト Gunosyデータ分析ブログ Gunosy 対象

2017 - 02 - 08 ABテストの対象をいい感じに割り振る方法 Python 分析基盤 分析ノウハウ ABテスト こんにちは、データ分析部の石塚 ( @ij_spitz ) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決... 続きを読む