AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話 - Yahoo! JAPAN Tech Blog

2020/12/25 5 users 運用負荷 Yahoo PayPayモール サイエンス統括本部

こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構... 続きを読む

PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita

2020/02/03 9 users gokart Luigi Qiita Pipeline DAG

この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む

Job管理をAirflowからKuroko2に乗り換えたら幸せになった - hatappiのブログ

2016/12/02 70 users iOS TravisCI hatappi hiragram

2016 - 12 - 02 Job管理をAirflowからKuroko2に乗り換えたら幸せになった Speeeアドベントカレンダー 2日目の記事です。 前日の記事は @hiragram の TravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの @hatappi です。 前年度の アドベントカレンダー でこんな記事書... 続きを読む