タグ Airflow
人気順 10 users 50 users 100 users 500 users 1000 usersAirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話 - Yahoo! JAPAN Tech Blog
こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能(レコメンドシステム)の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow(以降、Airflowと記載します)に集約して、運用負荷を低減した事例を簡単なシステム構... 続きを読む
PythonのPipelineパッケージ比較:Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む
Job管理をAirflowからKuroko2に乗り換えたら幸せになった - hatappiのブログ
2016 - 12 - 02 Job管理をAirflowからKuroko2に乗り換えたら幸せになった Speeeアドベントカレンダー 2日目の記事です。 前日の記事は @hiragram の TravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの @hatappi です。 前年度の アドベントカレンダー でこんな記事書... 続きを読む