Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし

2020/01/06 7 users Kubeflow Pipelines Pipelines

機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に載せって機械学習のワークフロー管理を行うとこ... 続きを読む

複数のクラウドを連携してワークフロー管理：日経ビジネスオンライン

2016/12/11 21 users クラウド 日経ビジネスオンライン 複数 Digdag OSS

ビッグデータ分析のクラウドサービスを提供する米Treasure Dataが、複数のクラウドを連携して一つのデータ処理を実現する「ワークフロー管理」のサービス「Treasure Workflow」を開始した。同社が開発するOSS（オープンソースソフトウエア）「Digdag」を使用する。 「Microsoft Azure」で稼働するアプリケーションのログや「Facebook Ads」の広告閲覧データを... 続きを読む

シリコンバレーNextレポート - マルチクラウドでワークフロー管理、米Treasure DataのOSS「Digdag」：ITpro

2016/12/07 23 users Digdag ITpro オープンソースソフトウエア OSS

ビッグデータ分析のクラウドサービスを提供する米Treasure Dataが、複数のクラウドを連携して一つのデータ処理を実現する「ワークフロー管理」のサービス「Treasure Workflow」を開始した。同社が開発するOSS（オープンソースソフトウエア）「Digdag」を使用する。 「Microsoft Azure」で稼働するアプリケーションのログや「Facebook Ads」の広告閲覧データを... 続きを読む

Workflowつくーる - Workflow Engine をつくろう！ Part 2 （Workflow の冪等性） - Qiita

2015/12/28 45 users workflow Qiita まえおき task Luigi

Part 1 (Task の依存関係の解決）はこちら まえおき この連載記事で作成する Workflow Engine は、 Luigi の設計思想に大きく影響を受けています。なので、 @k24d さんの Luigi によるワークフロー管理 を先に読んでおくと、理解が深まると思います。 前回は Task の依存関係の解決方法を実装しましたが、Part 2の今回は Workflow の冪等性について... 続きを読む

TreasureData - Luigi によるワークフロー管理 - Qiita

2015/12/07 75 users Qiita TreasureData Luigi 過程 ツール

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で... 続きを読む

第9回［最終回］　データパイプラインのためのワークフロー管理：これなら使える！ビッグデータ分析基盤のエコシステム｜gihyo.jp … 技術評論社

2015/12/07 29 users gihyo.jp ビッグデータ分析基盤 データパイプライン

基本KPIや応用KPIが決まり，実際に，毎日の運用の中で定期的にデータを更新して，可視化するためには，一連の処理を自動化する必要があります。今回は，データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下，パイプライン）とは，データ処理を行なう小さなタスク（1回のファイルコピーや，SQLの実行など）を順次実行すること... 続きを読む

Redmineは事務処理の申請承認ワークフローに使えるか？: プログラマの思索

2015/06/15 36 users Redmine 思索 プログラマ 承認 メモ書き

Redmineを事務処理の申請承認ワークフローに使えるか、考えたことをラフなメモ書き。 【1】事務処理の申請承認ワークフローは簡単な仕組みなのだから、Redmineのワークフロー管理機能とチケット管理機能でほとんど実現できるのではないか、と思ってしまいがちだ。 実際、つい10年くらい前までは、LotusNotesで簡易なワークフロー管理は実現できていた。 例えば、見積書の作成・承認、旅費申請、事務... 続きを読む

Yahoo!クリエイティブスタジオ

2014/02/14 30 users クリエイティブスタジオ ストレージシステム クオリティー

インターネット広告クリエイティブの制作に最適な環境を提供するクラウド型のワークフロー管理ストレージシステムですYahoo!クリエイティブスタジオは 広告クリエイティブ制作管理の効率化を実現し、最適な制作環境を提供する クラウド型のワークフロー管理およびストレージシステムです※1 クラウド上の管理による制作の効率化とクオリティーの向上 デジタルコンテンツ制作における、様々な関係者との膨大な情報のやり... 続きを読む