AWS Glueを使った Serverless ETL の実装パターン - Speaker Deck

2021/07/30 7 users Speaker Deck AWS Glue AWS API

Transcript AWS Glueを使った Serverless ETL の実装パターン 新井 成一 CX事業本部 MADチーム 2 自己紹介 CX事業本部 MADチーム所属 サーバーサイドエンジニア 普段の業務 API/IoT用のバックエンドの仕組みをAWSで構築&開発 データ分析&可視化する前のETL処理 ← ここ最近 3 よくある話を少しする AWS IoT Core Firehose... 続きを読む

Digdagバッチの基本設計とビルドの実例紹介 - MicroAd Developers Blog

2020/01/14 5 users Digdag ビルド 大澤 サーバサイドエンジニア 実例紹介

サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。 以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。 今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub En... 続きを読む

AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services ブログ

2019/09/25 94 users コーディング Python モジュール github上 以下

Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon At... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users Digdag ワークフローエンジン リカバリ 日次バッチ 運用

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 42 users Jenkins Digdag ワークフローエンジン リカバリ

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む