機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法 - ドワンゴ教育サービス開発者ブログ

2024/10/09 5 users 可視化 ドワンゴ教育サービス開発者ブログ Luigi 関係

はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しし... 続きを読む

【AWS】起動方法から考えるStep Functionsでの定期ジョブシステム

2024/09/17 6 users ワークフロー 順序 AWS Step Functions 定義

概要 AWS の Step Functions といえば簡易に順序だった複数タスクを実行するワークフローを実装できるサービスです。 Amazon States Language という JSON ベースの言語によるワークフローの定義と出来上がるワークフローの抽象化された見た目により実装自体は簡単ですが、起動方法やタスク間でのデータ管理、フロー設計... 続きを読む

DigdagをHA構成にしてみた - Start Today Technologies TECH BLOG

2018/06/25 61 users Digdag ワークフローエンジン ha構成 塩崎 Tips

こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存... 続きを読む