BigQuery の外部テーブルと Hive パーティショニングレイアウトで優勝する記事 - Mercari Engineering Blog

2020/02/07 8 users BigQuery KPI クエリ メルペイ メルカリ

こんにちは、メルペイ DataPlatform チームの @syu_cream です。 突然なのですが皆さんは BigQuery は使っていますか？ うんうん、やっぱり使っていますよね。 メルカリ、メルペイでも KPI 分析や機械学習への応用、お客様からのお問い合わせに関わる調査、開発用ログへのクエリなど様々な用途で活用しています。 筆者が... 続きを読む

僕たちはどうマイクロサービスのログを収集するのか - Mercari Engineering Blog

2018/12/14 104 users 僕たち Mercari Engineering Blog

Mercari Advent Calendar 2018 の14日目はメルペイ DataPlatform チームの @syu_cream がお送りします。 本記事では表題の通り、メルカリとメルペイにおける、マイクロサービスのログ収集に関する課題と取り組みについて記載します。 メルカリとメルペイでは、現在クライアントアプリやサーバサイドのログを効率的に収集... 続きを読む

US版Mercariのリニューアルと今後 (サーバサイド) - Mercari Engineering Blog

2017/12/10 86 users サーバサイド サーバサイドエンジニア メルカリ リニューアル

2017 - 12 - 10 US版Mercariのリニューアルと今後 (サーバサイド) この記事は Mercari Advent Calendar 10日目の記事です。昨日は @syu_cream の メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 でした。 本日はUSサンフランシスコのサーバサイドエンジニア @deme0607 が、今年2017年にリニューアルしたUS版Mercar... 続きを読む

KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 - Mercari Engineering Blog

2017/11/02 80 users KPI Cloud Dataflow SRE 数値 集計処理

2017 - 11 - 02 KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中で... 続きを読む