プレスリリース駆動開発のすゝめ - LayerX エンジニアブログ

2024/05/01 98 users すゝめ LayerX エンジニアブログ 弊チーム 機械学習

機械学習・データ部 / データチームの @irotoris です。こんにちは。 データチームでは社内で使うデータプラットフォームやデータマートの開発をしています。今日は弊チームの開発スタイルの中から「プレスリリース駆動開発」を紹介します。 データチームの開発スタイル データチームの開発は1週間のタイムボックスで、... 続きを読む

BigQueryでのデータ追記処理における冪等化の取り組み - ZOZO TECH BLOG

2022/08/16 23 users 田島 mail BigQuery ユーザ PUSH通知

こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後... 続きを読む

dbtを触ってみた感想 - yasuhisa's blog

2021/07/24 15 users dbt DWH Dataform 前職 構築

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一... 続きを読む

分析者から見た使いにくいデータ基盤の話 | リクルートテクノロジーズ　メンバーズブログ

2018/12/25 32 users リクルートテクノロジーズ メンバーズブログ データ基盤 秩序

リクルートテクノロジーズのアドベントカレンダーの 12/25 の分です。 https://adventar.org/calendars/3063 要するにデータが潤沢なデータレイクと、秩序だったデータウェアハウスがほしいという話をします。データマートは分析者も必要に応じて作ればいいので、なくても問題ないです。データレイク、データウェアハウ... 続きを読む

Treasure Dataの新機能(Data Tank)をAudienceOneのレポート機能で利用した話 | DACエンジニアブログ：アドテクゑびす界

2015/11/06 12 users Tableau Treasure Data AWS 新機能

Data Tankとは？ Treasure Dataの新機能でTreasure Dataのプラットフォーム上に構築されたデータマートです。 Tableau等のBIツールとの接続を想定されており、AWSでいうところのRedshift的なものだと考えるとわかりやすいかと。 Data TankはPostgresql9.4をベースに拡張にされており、ストアドや9.1から追加されたForeign Data ... 続きを読む