はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ Airflow

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 3 / 3件)
 

AirflowとKubernetesで機械学習バッチジョブの運用負荷を低減した話 - Yahoo! JAPAN Tech Blog

2020/12/25 このエントリーをはてなブックマークに追加 5 users Instapaper Pocket Tweet Facebook Share Evernote Clip 運用負荷 Yahoo PayPayモール サイエンス統括本部

こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能(レコメンドシステム)の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow(以降、Airflowと記載します)に集約して、運用負荷を低減した事例を簡単なシステム構... 続きを読む

PythonのPipelineパッケージ比較:Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita

2020/02/03 このエントリーをはてなブックマークに追加 9 users Instapaper Pocket Tweet Facebook Share Evernote Clip gokart Luigi Qiita Pipeline DAG

この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む

Job管理をAirflowからKuroko2に乗り換えたら幸せになった - hatappiのブログ

2016/12/02 このエントリーをはてなブックマークに追加 70 users Instapaper Pocket Tweet Facebook Share Evernote Clip iOS TravisCI hatappi hiragram

2016 - 12 - 02 Job管理をAirflowからKuroko2に乗り換えたら幸せになった Speeeアドベントカレンダー 2日目の記事です。 前日の記事は @hiragram の TravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの @hatappi です。 前年度の アドベントカレンダー でこんな記事書... 続きを読む

 
(1 - 3 / 3件)