Argo Workflowsを使った機械学習環境の構築手順 - アダコテック技術ブログ

2023/10/05 9 users Argo Workflows 構築手順 機械学習環境 柿崎

はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行... 続きを読む

Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG

2022/10/21 18 users SRE ZOZO FAANS Kubernetesネイティブ

はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置き... 続きを読む

GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/05/20 324 users ワークフロー エンジニアHub gfx GitHub キャリア

GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに... 続きを読む

DigdagをHA構成にしてみた - Start Today Technologies TECH BLOG

2018/06/25 61 users Digdag ha構成 塩崎 Tips 続編

こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users Digdag Speaker Deck リカバリ 日次バッチ

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 42 users Jenkins Digdag Speaker Deck 運用

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

AWS Batchの基本的な機能とユースケースについて ｜ Developers.IO

2016/12/02 55 users Developers.IO AWS Batch 機能 ジョブ

バッチ処理 世の中のITシステムのほとんどは、データが発生し、流れて、処理し、蓄積されるジョブの繰り返しです。AWS Batchは、このようなバッチジョブを効率的におこなうための管理サービスです。Pegasus WMS、Cromwell、Luigiといった主要なワークフローエンジンをサポートしています。実際のジョブの実行は、EC2やSpotインスタンスが動的にアサインされて実行されます。 データフ... 続きを読む

オープンソースのワークフローエンジン「Activiti」入門 （1/7）：CodeZine

2013/07/18 136 users Tech-Sketch ワークフロー 加筆 CodeZine

本連載では、TIS株式会社が提供している技術ブログ「Tech-Sketch」から「コレは！」というテーマをピックアップし、加筆修正して皆様にお届けしています。今回取り上げるテーマは「ワークフロー」です。私達がお客様向けに構築するバックオフィスシステムにおいて、ワークフロー機能を求められる機会が増えているため、第5回では、数あるワークフローライブラリの中から「Activiti」について、概要説明・動... 続きを読む