タグ「Digdag」 - はてブログ

タグ Digdag

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 21 / 21件)

カナダで転職して、プロダクトマネージャーからソフトウェアエンジニアに戻った。 | takuti.me

2021/08/20 20 users takuti.me カナダソフトウェアエンジニア修士課程

Tweet 修士課程修了から4年半の間働いたトレジャーデータ (Treasure Data; TD) を8月13日（金）に退職した。インターンから数えるとちょうど5年のお付き合いになる。ソフトウェアエンジニアとして入社 (2017-2019) 修士課程で機械学習が専門ではない指導教員の下で機械学習を学ぶために Hivemall, Digdag, 自然言語処理... 続きを読む

Digdag + Embulkをクラウド転生させてデータ基盤運用を圧倒的に楽にした話 - エムスリーテックブログ

2020/12/19 14 users embulk エムスリー YouTube 鳥山 to_lz

こんにちは、エムスリーエンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。これはエムスリー Advent Calendar 2020 の19日目の記事です。エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTube... 続きを読む

Digdagバッチの基本設計とビルドの実例紹介 - MicroAd Developers Blog

2020/01/14 5 users ビルドワークフローサーバサイドエンジニア大澤 ETL処理

サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub En... 続きを読む

EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog

2019/03/25 50 users ECS Gunosy Tech Blog EC2上

広告技術部のUT@mocyutoです。ついに桜が開花し、やっと春の訪れを感じはじめましたね。外で気持ちよく飲みたい季節になってきました。はじめにシステム概要なぜ移行するのか Celeryをやめたい LevelDBをやめたい移行計画アーキテクチャ ECS Athena CI/CDフロー Pluginか自前実装か移行後よかったことまとめ ... 続きを読む

TalendをDigdagとEmbulkに移行した - ZOZO Technologies TECH BLOG

2019/03/19 52 users embulk

はじめまして！ ZOZOテクノロジーズ開発部の平田（@TrsNium）と申します。業務ではデータ基盤の開発・運用を行っています。よろしくお願いいたします。今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。概要弊社のデータ基盤は注文情報や顧客情報などをSQL... 続きを読む

Digdag の Plugin をたくさん作ったので紹介するよ - Gunosy Tech Blog

2018/12/07 30 users Plugin Gunosy Tech Blog たくさん

こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんの RxSwiftにおける孫からの祖父母孝行でした。 qiita.com はじめにこんにちは、広告技術部のｷｳﾞｨﾀｽﾎﾟ(読み方統一運動中) (@Civitaspo) | Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy A... 続きを読む

Digdagを使ったジョブ管理 - MicroAd Developers Blog

2018/10/03 90 users アプリケーションエンジニア MicroAd ワークフロー

はじめまして。アプリケーションエンジニアの中野です。以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の... 続きを読む

DigdagをHA構成にしてみた - Start Today Technologies TECH BLOG

2018/06/25 61 users ワークフローエンジン ha構成塩崎 Tips 続編

こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。複数個のタスク間の依存... 続きを読む

Hivemall, Digdag, 自然言語処理, 機械学習などについて話しました #tdtech | takuti.me

2018/02/25 42 users YouTube Plazma Hivemall 実体録画

2月19日に開催された PLAZMA: TD Tech Talk 2018 Internal Day で、Treasure Dataがユーザに提供している機械学習・自然言語処理の機能の実体をお話しました。録画もあがっているようです: PLAZMA TD Internal Day: TD Tech Talk 2018 - YouTube 「業務またはプライベートで機械学習に触れている方」という問い... 続きを読む

digdag0.9.21のretryは_retryの定義位置によって挙動が異なる - Qiita

2017/12/03 10 users operator task request Qiita 挙動

digdag の retry は大変便利です。例えば、それなりの確率で500statusをレスポンスしてくるAPI 1 にrequestを送る処理を含むscriptを実行するtaskを作るようなケースでも、実際に動作させるcodeにリトライを仕込まなくても自動でtask単位でretryさせることができます（もちろんoperatorの処理結果がErorrにならないとダメですが）。ですが、最近いろ... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users fluentd elasticsearch embulk

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

Digdag 入門 | GMOインターネット次世代システム研究室

2017/07/11 72 users crontab スケジューラ GMOインターネット入門順序

D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行用途でよく利用されますが低機能です。順序の依存関係やアラートは毎回独自に作りこまなければいけません。そのため近年は代替スケジューラを利用するケースが多いです。その候補のひとつ... 続きを読む

Go言語製 Digdag client (mog) をリリースしました #digdag | iroilog.net

2017/06/25 44 users MOG Go言語製 https 導入事例資料

June 25, 2017 Go言語製 Digdag client (mog) をリリースしました #digdag こんばんは！久しぶりの更新となりましたが… またしてもDigdagネタです。以前 Workflow Engines Night という名の勉強会で登壇させてただく機会があり、社内におけるDigdagの導入事例を紹介させていただきました！その時の資料がこちら↓ https://s... 続きを読む

【御礼】Workflow Engines Night 開催しました！ - DMM.comラボエンジニアブログ

2017/06/08 11 users 御礼 DMM.comラボエンジニアブログ昨晩木下告知

2017 - 06 - 08 【御礼】Workflow Engines Night 開催しました！ Tweet Share on Tumblr こんにちは、技術広報の木下です。昨晩は以前より告知しておりました #workflowenginesnight を開催致しました！ 1週間前の急な告知でしたがお集まりいただいたみなさま、ありがとうございます。『Digdag』開発者であるトレジャーデータの... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users ワークフローエンジン Speaker Deck リカバリ

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 42 users Jenkins ワークフローエンジンリカバリワークフロー

Digdagによる大規模データ処理の自動化とエラー処理

2017/06/08 38 users Inc エラー処理大規模データ処理自動化

Digdagによる大規模データ処理の自動化とエラー処理 1. Digdagによる大規模データ処理の  自動化とエラー処理 Sadayuki Furuhashi Workﬂow Engines Night 2. Sadayuki Furuhashi A founder of Treasure Data, Inc. located in Silicon Valley. OSS projects I f... 続きを読む

Digdag on Dockerで何度コンテナを立て直しても状態を維持する - hatappiのブログ

2017/05/12 30 users hatappi 自前タスク Docker上処理

2017 - 05 - 12 Digdag on Dockerで何度コンテナを立て直しても状態を維持する digdag入門しはじめた — hatappi (@hatappi) 2017年5月11日しました DigdagはDocker上でタスクに依存性をもたせて処理を実行するために使用し始めました Digdagを使うことが出来るDocker Imageは今回は自前で用意したものを使用します ※ D... 続きを読む

digdagをDockerizeしてECS上で運用することにしました - 雑なメモ

2017/01/23 67 users ECS上メモ qiita.com 採用事例可視化

2017 - 01 - 23 digdagをDockerizeしてECS上で運用することにしました Digdag ECS embulk shippable Docker データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関... 続きを読む

複数のクラウドを連携してワークフロー管理：日経ビジネスオンライン

2016/12/11 21 users クラウドワークフロー管理日経ビジネスオンライン複数ロク

ビッグデータ分析のクラウドサービスを提供する米Treasure Dataが、複数のクラウドを連携して一つのデータ処理を実現する「ワークフロー管理」のサービス「Treasure Workflow」を開始した。同社が開発するOSS（オープンソースソフトウエア）「Digdag」を使用する。「Microsoft Azure」で稼働するアプリケーションのログや「Facebook Ads」の広告閲覧データを... 続きを読む

シリコンバレーNextレポート - マルチクラウドでワークフロー管理、米Treasure DataのOSS「Digdag」：ITpro

2016/12/07 23 users ITpro オープンソースソフトウエア OSS クラウドロク