Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG

2022/03/23 9 users ワークフロー ZOZO TECH BLOG

はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補... 続きを読む

AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話 - Yahoo! JAPAN Tech Blog

2020/12/25 5 users 運用負荷 Airflow Yahoo PayPayモール 事例

こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構... 続きを読む

Apache Airflowで実装するDAG間の実行タイミング同期処理 - エニグモ開発者ブログ

2020/12/20 5 users エニグモ開発者ブログ

こんにちは。 今年4月にエニグモに入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の20日目の記事です。 目次 はじめに そもそも同期処理とは？ Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると？ 同期遅延なし時のAirflowログ 同期遅延あり時のAirflowログ 同期タ... 続きを読む

データエンジニアの始まり（翻訳） - satoshihirose

2018/07/23 111 users satoshihirose Facebook Lyft 翻訳

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり（翻訳） 私は 2011 年にBIエンジニアとしてFacebookに入社しま... 続きを読む

グーグル、データオーケストレーションツール「Cloud Composer」をベータ公開 - ZDNet Japan

2018/05/02 27 users グーグル Cloud Composer ベータ公開 ベース

Googleは米国時間5月1日、Google Cloud Platformの新しいデータオーケストレーションツール「Cloud Composer」をオープンベータ版として 公開した 。Cloud Composerは、Airbnbが開発したワークフローにフォーカスするオープンソースプロジェクト「Apache Airflow」をベースとする。 ここ数年、Googleはパブリッククラウドで企業顧客を獲得... 続きを読む

Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita

2017/07/18 41 users Qiita Slack

データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，... 続きを読む