2種類のログ解析基盤 - wyukawa’s blog

2015/05/02 73 users wyukawa’s blog Presto 2種類 shib

Hadoop, Presto, yanagishima僕は仕事では2種類のログ解析基盤を見ています。1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。selectのみです。データの更新作業は別途cronのhive batchで... 続きを読む

スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech // Speaker Deck

2015/03/22 465 users tech メトリクス Speaker Deck 集計 転換

スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様々な工夫が必要になってきます。本セッションでは、会社の成長に応じたログ集計基盤の転換を振り返りな... 続きを読む

Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました｜サイバーエージェント 公式エンジニアブログ

2013/12/12 89 users Ameba サイバーエージェント プリンキピア ブログトップ

サイバーエージェント 公式エンジニアブログ プリンキピア サイバーエージェント～日常と非日常の境～ ブログトップ 記事一覧 画像一覧 Amebaアプリの･･･ » Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました 2013年12月12日(木)NEW ! テーマ：サービス・技術 (この記事は、Hadoop Advent Calender 2013 の12日目の記事... 続きを読む