重たい集計バッチをAthenaを利用して高速化した話 - Tech Do | メディアドゥの技術ブログ

2020/04/23 18 users Athena メディアドゥ 年明け 回路 エンジニア

こんにちは、昨年末に新しくノートPCを注文したら年明けに新モデルが発表されてしまったショックを未だ引きずっているエンジニアの回路（@qazx7412）です。 今回は昨年末に取り組んだAthenaを利用した集計バッチの高速化についての話をしようと思います。 あらすじ さて、私が普段関わっている配信システムには「売上集... 続きを読む

Python - BigQueryを使う処理のテストをどう書くか - Qiita

2014/12/07 41 users Qiita BigQuery Python 昨今 テストコ

この記事はVOYAGE GROUP エンジニアブログ Advent Calendar 2014の6日目の記事です。 こんにちは、VOYAGE GROUPで片手間データサイエンティスト業に従事している@hagino3000です。 昨今のBigQueryムーブメントに乗って、分析用のデータをBigQueryに投入しはじめた方も多いと思います。しかし、BigQueryを使い出すと、集計バッチ等のテストコ... 続きを読む