DMM.comのビッグデータ基盤を支える技術 // Speaker Deck

2017/08/25 111 users Speaker Deck DMM.com Hadoop 技術

TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users Digdag ワークフローエンジン リカバリ 日次バッチ 運用

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

AWSのフルマネージドサービスのみ使ってIoT向けビッグデータ基盤を構築する ｜ Developers.IO

2015/04/20 67 users AWS フルマネージドサービス Developers.IO

はじめに KinesisやRedshiftを使ったビッグデータ基盤の運用負荷を減らせないかと考えていたところ、Lambdaが正式公開されましたのでAWSのフルマネージドサービスだけで構築できないかやってみました。今回、構築したのはスマホアプリやIntel Edisonなどの端末からセンサー情報をKinesisに送信後、S3を経由してRedshiftにデータをロードするところまでになります。処理とし... 続きを読む