Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化

2024/07/23 14 users Maestro Jul Netflix 現役 オープンソース化

Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul,... 続きを読む

AI Platform Pipelines を使って機械学習パイプラインを動かす話 - Speaker Deck

2020/06/26 14 users Speaker Deck GCP 全体像 メリット

Kubeflow Pipelines の GCP マネージド版である AI Platform Pipelines を使って、機械学習パイプラインを動かした話です。どんなメリットがあるのか、どのような全体像になっているのかをまとめました。 続きを読む

TFXとは何だったのか、現状どうなっているのか - Qiita

2019/12/22 12 users Qiita エンドツーエンド プラットフォーム 現状 設計

この記事では機械学習パイプラインを本番環境にデプロイするためのエンドツーエンドなプラットフォームの提供を目指す、TFXについて述べます。 TL;DR The TFX User Guide が一番詳しいのでこれを読みましょう。 TFX とは TensorFlow Extended (TFX) は次の3つのうちのいずれかを指します。 機械学習パイプラインの設計思... 続きを読む