Embulkのcoreのソースコードから紐解くデータ転送のしくみ

2023/12/06 10 users embulk core trocco しくみ OSS

この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者... 続きを読む

SBI生命がETLを「AWS Lambda」で実装、専用サービスGlueから置き換えた理由

2023/02/13 10 users FaaS サーバーレス ラムダ スピ クラウドサービス

クラウドサービスを使い、サーバーレスでプログラムコードを実行する「FaaS（ファンクション・アズ・ア・サービス）」を構築する企業が相次いでいる。AWS Lambda（ラムダ）に代表されるFaaS基盤のクラウドサービスを利用すれば、開発者は仮想マシンやコンテナなどの実行環境を構築・管理する必要がなくなり、開発のスピ... 続きを読む

なぜETLではなくELTが流行ってきたのか - Qiita

2022/12/05 152 users ELT Qiita 生みの親 データエンジニアリング 言葉

概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLで... 続きを読む

AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl

2021/09/29 16 users Transcript AWS SAM shnagai Inc

Transcript © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Step Functions × AWS Serverless Application Model (AWS SAM) Ͱ࣮ݱ͢ΔՈ଒ϊʔτͷ௿ӡ༻ίετETLج൫ ίωώτגࣜձࣾ ӬҪউҰ࿠(@shnagai) A W S D e v D a y O n l i n e J a p a n 2 0 2 1 2 0 2 1 / 0 9 / 2 9 E - 3 ࣗݾ঺հ ओͳ׆ಈ���� ��"84�%FW�%BZ͸ԑ͋ͬͯ�೥... 続きを読む

[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | Developers.IO

2020/04/30 11 users AWS Glue Developers.IO コード 1行

[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました 先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました！ AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue... 続きを読む

iPaaS といってもいろいろな種類があるので分類してみよう～レシピ型、ETL/ELT、EAI、ESB～ - CData Software Blog

2020/01/10 7 users クラウドサービス ELT iPaaS クラウド連携 トレンド

iPaaS が話題です。面倒なデータ連携（特にクラウド連携）がノーコードでできて、しかも環境を構築せずにクラウドサービスとして使えるなんて！　これはトレンドになるのも当然です。 弊社CData は、クラウドデータ連携の部品を取り扱っているので、「iPaaS をやるために」、「iPaaS っぽい感じで」というお話を伺います... 続きを読む

AWS Glue is Now Available in the Asia Pacific (Tokyo) AWS Region

2017/12/22 8 users Tokyo Asia Pacific transform

AWS Glue is now available in the Asia Pacific (Tokyo) AWS Region, marking its first availability in Asia Pacific.  AWS Glue is a fully managed extract, transform, and load (ETL) service that makes it ... 続きを読む

AWS Glue is Now Available in the Asia Pacific (Tokyo) AWS Region

2017/12/21 20 users Tokyo Asia Pacific transform

AWS Glue is now available in the Asia Pacific (Tokyo) AWS Region, marking its first availability in Asia Pacific.  AWS Glue is a fully managed extract, transform, and load (ETL) service that makes it ... 続きを読む

AWS Glue – 一般提供開始 | Amazon Web Services ブログ

2017/08/14 234 users AWS Glue Amazon Web Services

Amazon Web Services ブログ AWS Glue – 一般提供開始 by AWS Japan Staff | on 15 AUG 2017 | in General | Permalink | Share 本日、 AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform... 続きを読む

AWSのフルマネージド型 ETL サービス『AWS Glue』の紹介動画を観て来たるべきリリースに向けて情報収集してみる ｜ Developers.IO

2017/04/23 33 users YouTube動画 セッション AWS re リリース時期

昨年2016年12月の『AWS re:Invent 2016』で発表された、AWSによるフルマネージド型ETLサービス『AWS Glue』。イベント当日での発表では『今後リリース予定です』との内容に留まり、詳細なリリース時期等は明らかになっていませんが、イベントにてAWS Glueの内容について言及されたセッションが展開されており、関連するYouTube動画もアップされていました(特にこの動画につ... 続きを読む

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ ｜ Developers.IO

2016/12/21 52 users JSON形式 Developers.IO 変換 新機能 機能

【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ AWS特集 Kinesis Lambda こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「 データ変換機能 」です。所謂 ETL ... 続きを読む

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue ｜ Developers.IO

2016/12/01 53 users glue reinvent リリース フルマネージド AWS上

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue AWS re:Invent 2016 AWS特集 Glue AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる 『AWS Glue』 のリリースが発表されました！ これまでの状況 AWSのデ... 続きを読む

Clouderaで作るデータ分析環境 - 科学と非科学の迷宮

2014/05/06 36 users Cloudera DWH Hue 迷宮 インポート

2014-05-07 Clouderaで作るデータ分析環境 wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば ... 続きを読む