Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化

2024/07/23 14 users Maestro Jul Netflix 現役 オープンソース化

Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul,... 続きを読む

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ

2022/03/28 9 users asteriam SageMaker デプロイ 柏木 リソース

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組... 続きを読む

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ

2022/03/24 6 users asteriam SageMaker デプロイ 柏木 一気通

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システム... 続きを読む

Vertex Pipelines ではじめるサーバーレス機械学習パイプライン

2021/10/16 5 users Vertex Pipelines GCP サーバーレス 一連

Transcript Vertex Pipelines ではじめる サーバーレス機械学習パイプライン Asei Sugiyama tl;dr 機械学習パイプラインは機械学習で行われる一連の処理をパイプライン として実行できるよう定義したもの Vertex Pipelines は機械学習パイプラインをサーバーレスに実行する GCP のサービスで、パイプラインは Kubeflow P... 続きを読む

AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO Technologies TECH BLOG

2020/11/13 8 users Kubeflow Pipelines 本番導入 構築

ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械... 続きを読む

AI Platform Pipelines を使って機械学習パイプラインを動かす話 - Speaker Deck

2020/06/26 14 users Speaker Deck GCP 全体像 メリット

Kubeflow Pipelines の GCP マネージド版である AI Platform Pipelines を使って、機械学習パイプラインを動かした話です。どんなメリットがあるのか、どのような全体像になっているのかをまとめました。 続きを読む

TFXとは何だったのか、現状どうなっているのか - Qiita

2019/12/22 12 users Qiita エンドツーエンド プラットフォーム 現状 設計

この記事では機械学習パイプラインを本番環境にデプロイするためのエンドツーエンドなプラットフォームの提供を目指す、TFXについて述べます。 TL;DR The TFX User Guide が一番詳しいのでこれを読みましょう。 TFX とは TensorFlow Extended (TFX) は次の3つのうちのいずれかを指します。 機械学習パイプラインの設計思... 続きを読む