ビジネスとオープンソースの狭間で 〜 Embulk の場合 (前編)

2024/01/25 139 users オープ 狭間 Ruby コミッター 人員削減 エンジニア

2023 年はビジネスとオープンソースの関係が難しくなった年であったように思います。 6 月には、フルタイムの Ruby コミッターとして研究開発を行っていたお二人がクックパッド社の人員削減の影響を受けたことに端を発して、オープンソースに深く関わってきた一部のソフトウェア・エンジニアを中心に、ビジネスとオープ... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users fluentd elasticsearch Digdag

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 180 users techlog Tweet VOYAGE GROUP 転送

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

Embulkを業務システムで使った話 - 今日もプログラミング

2016/08/10 130 users コミッタ JDBC SIer RDB プログラミング

2016 - 08 - 10 Embulkを業務システムで使った話 Embulk 背景 自分は SIer のエンジニアである。 いろいろなお客様の、いろいろな業務システムと格闘するのがお仕事である。 また、今はembulk-input- jdbc とかembulk-output- jdbc のコミッタもやっている。 業務システムと RDB とテキストファイル 業務システムでは、たいてい RDB を... 続きを読む

『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～

2015/04/11 225 users 実装手法 テクニック Transcript 1

Transcript 1. Hiroshi Nakamura Software Engineer Treasure Data, K.K. 『Embulk』に見るモダンJavaの実践的テクニック
 ∼並列分散処理システムの実装手法∼ 1 #ccc_cd4 / #embulk 2. #ccc_cd4 / #embulk Today’s talk Embulkとは > バルクデータ転送の難しさ > Em... 続きを読む

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

2015/02/16 332 users リアルタ 古橋 リリース データ転送ミドルウェア勉強会

2015-02-16 並列データ転送ツール『Embulk』リリース！ こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタ... 続きを読む

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 － Publickey

2015/01/27 242 users Publickey fluentd コミッター 古橋貞之氏

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、... 続きを読む