分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users Looker BigQuery 分析基盤 base 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)

2024/01/25 139 users オープ 狭間 Ruby コミッター 人員削減 エンジニア

2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープ... 続きを読む

Embulkのcoreのソースコードから紐解くデータ転送のしくみ

2023/12/06 10 users core ETL trocco しくみ OSS

この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者... 続きを読む

Embulk のメンテナンス体制がオープンになります

2022/11/24 8 users メンテナ core メンテナンス体制 ライセンス 本体

オープンソースのプラグイン型データ・ローダー Embulk のメンテナをここ何年かやっている @dmikurube です。 Embulk はオープンソースですが、本体 (core) のメンテナンスは Treasure Data でおこなっている、いわゆる「企業発オープンソース」でした。ライセンスは Apache-2.0 で、その意味でちゃんと「オープンソース... 続きを読む

EmbulkでPostgreSQLをMySQLに移行した話 - LIVESENSE ENGINEER BLOG

2022/11/15 76 users PostgreSQL MySQL

こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 先日、マッハバイトの販売管理システムで使っているデータベースをオンプレPostgreSQLからAmazon Aurora MySQLに移行しました。 本記事では移行に至った背景、吸収する必要があった差分や苦労した点についてお話しします。 環境 移... 続きを読む

Digdag + Embulkをクラウド転生させてデータ基盤運用を圧倒的に楽にした話 - エムスリーテックブログ

2020/12/19 14 users Digdag エムスリー YouTube 鳥山 to_lz

こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 これは エムスリー Advent Calendar 2020 の19日目の記事です。 エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTube... 続きを読む

TalendをDigdagとEmbulkに移行した - ZOZO Technologies TECH BLOG

2019/03/19 52 users Digdag

はじめまして！ ZOZOテクノロジーズ開発部の平田（@TrsNium）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL... 続きを読む

ALBのログをEmbulk + BigQuery + Redashで可視化する - LCL Engineers' Blog

2018/05/21 19 users Alb LCL BigQuery redash 森脇

2018 - 05 - 21 ALBのログをEmbulk + BigQuery + Redashで可視化する Webエンジニアの森脇です。 LCLでは、AWS ALBのアクセスログを分析し、各種KPIを定期的に確認しています。今回は、Embulk + BigQuery + Redashを利用してのログ分析の事例について紹介したいと思います。 概要 AWS ALBのアクセスログは、S3へ記録されます... 続きを読む

Embulkを利用して、AWS請求情報をRedashで可視化する - LCL Engineers' Blog

2018/04/02 13 users redash 森脇 コンソール 素振り AWS

2018 - 04 - 03 Embulkを利用して、AWS請求情報をRedashで可視化する AWS Embulk Redash Webエンジニアの森脇です。 今更ながら、Embulkを使う必要がでてきたので、素振り兼ねてAWS請求情報(S3)をDBへ格納しRedashで可視化できるようにしました。 背景 AWSの費用は管理コンソールの「コストエクスプローラー」で確認できますが、コンソールへのロ... 続きを読む

Embulk / Presto / Sparkを用いたETL事情 // Speaker Deck

2018/02/15 37 users Presto Spark Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users fluentd elasticsearch Digdag

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 180 users techlog Tweet VOYAGE GROUP 転送

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

Embulkを業務システムで使った話 - 今日もプログラミング

2016/08/10 130 users コミッタ JDBC SIer RDB プログラミング

2016 - 08 - 10 Embulkを業務システムで使った話 Embulk 背景 自分は SIer のエンジニアである。 いろいろなお客様の、いろいろな業務システムと格闘するのがお仕事である。 また、今はembulk-input- jdbc とかembulk-output- jdbc のコミッタもやっている。 業務システムと RDB とテキストファイル 業務システムでは、たいてい RDB を... 続きを読む

Embulkのソースコードスタイルチェック方法 (Java編) - Qiita

2016/01/09 21 users Qiita java編

1 概要 EmbulkのJava関連のコードは、Prestoと同じコードスタイル(Airlift codestyle)で記述されています。 下記の手順で、プラグインのソースコードが同じコードスタイルになっているかどうかをチェックすることができます。 Gradleの設定とIntelliJ IDEA 15 CE(OSX) の設定それぞれについて解説します。 ちなみに、Gradleの設定は、 embul... 続きを読む

Embulkを活用したログ管理システム

2015/12/15 36 users elasticsearch Kibana zoetro 池添

Embulkを活用したログ管理システム 1. Embulkを活用した ログ管理システム 2015-12-15 Embulk Meetup Tokyo #2 2. 自己紹介 • 池添 明宏 / @zoetro • グループウェアの開発 • フロントエンドチーム
 兼 パフォーマンス障害対策チーム • 最近の興味: Embulk, Elasticsearch, Kibana, Vert.x, Rx ... 続きを読む

Embulkに足りない5つのこと // Speaker Deck

2015/12/15 37 users Speaker Deck 5つ

embulk meetup tokyoで話しました！ ユースケースが書かれているので是非参考にして下さい。 続きを読む

OSSとしてのEmbulkにTreasure Dataはどのように関わっているのか - Qiita

2015/12/01 36 users Qiita OSS Java Ruby 開発

Embulk Advent Calendar 2015の1日目の投稿になります。 今年の9月にSoftware EngineerとしてTreasure Data(以下TD)に入社していた赤間(@oreradio)です。 最近はData Connector(後述)などの開発でJava/Rubyを書いています。 さて、OSSのバルクロードツールであるEmbulkが公開されて約1年が経ちました。 * 並... 続きを読む

embulk のプラグイン開発時にお試し実行するには - Qiita

2015/07/18 18 users RubyGems Gemfile Qiita Ｒｕｎ

$ ./gradlew classpath $ embulk run -I lib example.yml JRuby なプラグイン JRuby なプラグインの場合は、embulk も rubygems からインストールするように Gemfile に書いて 続きを読む

embulk で pure java と jruby でプラグインを作ったときの速度比較 - Qiita

2015/06/23 37 users JRuby Qiita sonots github.com

Embulk のプラグインを作るにあたって、pure java と jruby でどれぐらい速度差が出るのか気になったので、それぞれ同じ動作をする簡単なプラグインを作って速度比較してみた。 java版 https://github.com/sonots/embulk-filter-java_pass ruby版 https://github.com/sonots/embulk-filter-rub... 続きを読む

謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで | GMOインターネット 次世代システム研究室

2015/06/02 67 users elasticsearch Kibana error 前回

2015.05.28 謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで 次世代システム研究室のDevOpsネタ担当（Embulkのコード読んでRuby復習中）のM. Y.です。 前回の記事（ERRORログが多すぎるWebアプリに出会ったら）では、ログ形式が統一されていない、大量のERRORレベル... 続きを読む

『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～

2015/04/11 225 users 実装手法 テクニック Transcript 1

Transcript 1. Hiroshi Nakamura Software Engineer Treasure Data, K.K. 『Embulk』に見るモダンJavaの実践的テクニック
 ∼並列分散処理システムの実装手法∼ 1 #ccc_cd4 / #embulk 2. #ccc_cd4 / #embulk Today’s talk Embulkとは > バルクデータ転送の難しさ > Em... 続きを読む

Elasticsearch - Embulkを使って大量の謎ログを読み込ませる手順 - Qiita

2015/03/15 47 users Qiita elasticsearch 手順

背景 セキュリティ関係のなんとかみたいな仕事をしていると、ある時急に数TBの謎のログを手渡されて「これ明日までになんか解析してみて」みたいなムチャぶりが飛んでくることがあります。このようなデータ分析では分析手法云々という前に、正規化してDBに取り込んだりする作業に相当の労力が必要になります。こういう事案に対していまどきなデータ転送ソフトウエアであるembulkを使うとだいぶ分析にとりかかれるまでの... 続きを読む

ファイルを分割して入力するEmbulkプラグインを作ってみた - 今日もプログラミング

2015/03/13 12 users プログラミング ファイル 並列 タスク 並列処理

2015-03-12 ファイルを分割して入力するEmbulkプラグインを作ってみた Embulk Embulkの並列処理 Embulkは、処理を複数のタスクに分割して並列に実行する仕組みを備えている。 しかし、標準のファイル入力プラグインでは、単純に1つのファイルを入力すると1タスクにしかならないようだ（こちら参照）。 ソースを読んでみると、複数ファイルを読むと複数タスクになるようだ。 試しにこん... 続きを読む

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

2015/02/16 332 users リアルタ 古橋 リリース データ転送ミドルウェア勉強会

2015-02-16 並列データ転送ツール『Embulk』リリース！ こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタ... 続きを読む

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 － Publickey

2015/01/27 242 users Publickey fluentd コミッター 古橋貞之氏

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、... 続きを読む