Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG

2023/10/19 10 users GPU タスク ZOZO ZOZO TECH BLOG 安定

はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を... 続きを読む

Cloud Composerにデータマート集計基盤を移行しました - ZOZO TECH BLOG

2023/02/13 12 users ZOZO TECH BLOG

こんにちは、MLデータ部データ基盤ブロックの奥山（@pokoyakazan）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構... 続きを読む

Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～ - ZOZO Technologies TECH BLOG

2021/02/15 19 users ZOZO Technologies TECH BLOG

こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。... 続きを読む

Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering / 20190719 - Speaker Deck

2019/07/19 29 users DataFlow Speaker Deck 再構築

Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering / 20190719 続きを読む

グーグル、データオーケストレーションツール「Cloud Composer」をベータ公開 - ZDNet Japan

2018/05/02 27 users グーグル ベータ公開 ZDNet Japan Airbnb

Googleは米国時間5月1日、Google Cloud Platformの新しいデータオーケストレーションツール「Cloud Composer」をオープンベータ版として 公開した 。Cloud Composerは、Airbnbが開発したワークフローにフォーカスするオープンソースプロジェクト「Apache Airflow」をベースとする。 ここ数年、Googleはパブリッククラウドで企業顧客を獲得... 続きを読む