Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ

2020/11/27 17 users ECS Fargate ログデータ 構築 前川

こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際... 続きを読む

Rails で全文検索エンジンとしてElasticsearch を動かす（超初心者向け） - Qiita

2017/12/17 48 users Rails Qiita elasticsearch 前置き

こんにちは。 @katsuhisa__ です。 本記事は、「 Elastic stack (Elasticsearch) Advent Calendar 2017 」の12/18(月)分です。 前置き 今年の10月に、 第21回Elasticsearch 勉強会にて ログ解析基盤としてElastic Stack を導入した際のお話を発表 したのですが、プレゼンの最後で、「 次は全文検索エンジンとし... 続きを読む

Amebaのログ解析基盤のワークフロースケジューラー｜サイバーエージェント 公式エンジニアブログ

2015/07/30 31 users Ameba サイバーエージェント システ ブログトップ New

サイバーエージェント 公式エンジニアブログ CyberAgent Engineer Blog. ブログトップ 記事一覧 画像一覧 データ解析のシステ･･･ » Amebaのログ解析基盤のワークフロースケジューラー 2015年07月30日(木)NEW ! テーマ：サービス・技術 技術本部でログ解析基盤を担当している善明です。Amebaのログ解析基盤Patriot向けに開発したワークフロースケジューラ... 続きを読む

プランナーよりのログ解析基盤のその後 - wyukawa’s blog

2015/07/24 37 users プランナー wyukawa’s blog Presto 更新

Hadoop, Presto, yanagishima以前2種類のログ解析基盤 - wyukawa’s blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。 ちなみに1つ目のエンジニアよりのシステムの方も更新はあって、Fluentd+Norikra+Elasticsearch+Kibanaによるリアルタイムモニタリングを始めたり、メルカ... 続きを読む

2種類のログ解析基盤 - wyukawa’s blog

2015/05/02 73 users wyukawa’s blog Presto 2種類 shib

Hadoop, Presto, yanagishima僕は仕事では2種類のログ解析基盤を見ています。1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。selectのみです。データの更新作業は別途cronのhive batchで... 続きを読む

スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech // Speaker Deck

2015/03/22 465 users tech メトリクス Speaker Deck 集計 転換

スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様々な工夫が必要になってきます。本セッションでは、会社の成長に応じたログ集計基盤の転換を振り返りな... 続きを読む

Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました｜サイバーエージェント 公式エンジニアブログ

2013/12/12 89 users Ameba サイバーエージェント プリンキピア ブログトップ

サイバーエージェント 公式エンジニアブログ プリンキピア サイバーエージェント～日常と非日常の境～ ブログトップ 記事一覧 画像一覧 Amebaアプリの･･･ » Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました 2013年12月12日(木)NEW ! テーマ：サービス・技術 (この記事は、Hadoop Advent Calender 2013 の12日目の記事... 続きを読む