ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)

2024/01/25 139 users オープ 狭間 Ruby コミッター 人員削減 エンジニア

2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープ... 続きを読む

EmbulkでPostgreSQLをMySQLに移行した話 - LIVESENSE ENGINEER BLOG

2022/11/15 76 users PostgreSQL MySQL

こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 先日、マッハバイトの販売管理システムで使っているデータベースをオンプレPostgreSQLからAmazon Aurora MySQLに移行しました。 本記事では移行に至った背景、吸収する必要があった差分や苦労した点についてお話しします。 環境 移... 続きを読む

TalendをDigdagとEmbulkに移行した - ZOZO Technologies TECH BLOG

2019/03/19 52 users Digdag

はじめまして！ ZOZOテクノロジーズ開発部の平田（@TrsNium）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users fluentd elasticsearch Digdag

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 180 users techlog Tweet VOYAGE GROUP 転送

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

Embulkを業務システムで使った話 - 今日もプログラミング

2016/08/10 130 users コミッタ JDBC SIer RDB プログラミング

2016 - 08 - 10 Embulkを業務システムで使った話 Embulk 背景 自分は SIer のエンジニアである。 いろいろなお客様の、いろいろな業務システムと格闘するのがお仕事である。 また、今はembulk-input- jdbc とかembulk-output- jdbc のコミッタもやっている。 業務システムと RDB とテキストファイル 業務システムでは、たいてい RDB を... 続きを読む

謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで | GMOインターネット 次世代システム研究室

2015/06/02 67 users elasticsearch Kibana error 前回

2015.05.28 謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで 次世代システム研究室のDevOpsネタ担当（Embulkのコード読んでRuby復習中）のM. Y.です。 前回の記事（ERRORログが多すぎるWebアプリに出会ったら）では、ログ形式が統一されていない、大量のERRORレベル... 続きを読む

『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～

2015/04/11 225 users 実装手法 テクニック Transcript 1

Transcript 1. Hiroshi Nakamura Software Engineer Treasure Data, K.K. 『Embulk』に見るモダンJavaの実践的テクニック
 ∼並列分散処理システムの実装手法∼ 1 #ccc_cd4 / #embulk 2. #ccc_cd4 / #embulk Today’s talk Embulkとは > バルクデータ転送の難しさ > Em... 続きを読む

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

2015/02/16 332 users リアルタ 古橋 リリース データ転送ミドルウェア勉強会

2015-02-16 並列データ転送ツール『Embulk』リリース！ こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタ... 続きを読む

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 － Publickey

2015/01/27 242 users Publickey fluentd コミッター 古橋貞之氏

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、... 続きを読む

embulk/embulk · GitHub

2015/01/27 62 users GitHub

README.md Embulk: plugin-based parallel bulk data loader What's Embulk? TODO Quick Start The single-file package is the simplest way to try Embulk. You can download the latest embulk.jar from releases... 続きを読む