Digdagを使ったジョブ管理 - MicroAd Developers Blog

2018/10/03 90 users Digdag アプリケーションエンジニア MicroAd

はじめまして。アプリケーションエンジニアの中野です。 以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。 今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の... 続きを読む

Jenkinsfileによるジョブ管理のメリットと実例 - GeekFactory

2017/03/23 88 users GeekFactory Jenkins 知見 実例 ジョブ

2017 - 03 - 23 Jenkinsfileによるジョブ管理のメリットと実例 jenkins CI ジョブの設定をJenkinsfileで管理し始めてから3か月ぐらい経ったので、知見をまとめてみます。 Jenkinsfileを使うメリット Jenkinsの画面でジョブを設定していると以下のような問題が起きることが多いと思いますが、この手の問題を解消できます。 誰かが勝手にJenkinsの設... 続きを読む

バッチ処理、ジョブ管理について書いてみる - wyukawa’s blog

2015/06/17 173 users wyukawa’s blog バッチ処理 Hive ジョブ

Azkaban, 技術僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。... 続きを読む

Zabbix＋JobSchedulerで効果的な運用監視とジョブ管理（前編）：初めての運用管理者が知っておきたい監視・ジョブ管理向けOSS構成例4つの比較まとめ (1/2) - ＠IT

2015/05/20 60 users Zabbix 運用監視 OSS 焦点 商用

Zabbix＋JobSchedulerで効果的な運用監視とジョブ管理（前編）：初めての運用管理者が知っておきたい監視・ジョブ管理向けOSS構成例4つの比較まとめ (1/2) 「監視」と「ジョブ管理」はシステム運用の要といえるもの。オープンソース、商用ともに多様なツールが存在しますが、本連載ではオープンソースソフトウエア（以降、OSS）に焦点を当て、「Zabbix」と「JobScheduler」の活... 続きを読む

ETLフレームワークとジョブ管理 - wyukawa’s blog

2015/02/28 51 users Luigi スクリプト wyukawa’s blog エラー

AzkabanTreasure Dataが面白い記事を書いていたのでこれに関連してETLフレームワークとジョブ管理について僕の経験、意見を書いてみようと思います。Managing the Data Pipeline with Git + Luigi | The Treasure Data Blogリンク先の記事を僕なりに要約すると、データやそれを加工するスクリプトがちらばって管理が辛くなり、エラー... 続きを読む

【統合運用管理】クラウド時代のジョブ管理の決定版となるか？Hinemos World 2013に参加してきた ｜ Developers.IO

2013/11/19 29 users Developers.IO クラウド時代 Hinemos

【統合運用管理】クラウド時代のジョブ管理の決定版となるか？Hinemos World 2013に参加してきた AWS特集レポート はじめに こんにちは植木和樹です。2013年11月15日に「Hinemos World 2013」が開催されましたので、そちらに参加してきました。本日は参加レポートとなります。筆者はHinemosをバージョン 2.4、3.1 の頃、主にWindowsサーバーの監視を目的... 続きを読む

日本発で世界初、オープンソースの運用管理ツールが本格離陸：ITpro

2006/05/30 106 users ITpro Hinemos ソフトウェア クライアント 自社

画面●Hinemosを操作する「クライアント」では、ジョブ管理に加え性能管理も可能。Eclipse RCPとグラフ表示用ライブラリのJFreeChartを利用して開発した [画像のクリックで拡大表示] 「コストを自社で持ち出してでも企業情報システムで利用できるレベルまで引き上げたかった」----。NTTデータの基盤システム事業本部 オープンソース開発センタは現在、オープンソース・ソフトウエア（OS... 続きを読む