続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 - Blog by Sadayuki Furuhashi

2017/08/10 412 users update リトライ リク エス 冪等性

2017 - 08 - 10 続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 いつも心に冪等性。古橋です。 リトライと冪等性のデザインパターン の完結編です。 だいぶ間が空いてしまいましたが！ 最後に冪等性を実装する汎用的な実装手法についてまとめていきます。 パターン６：操作ログとリク エス トIDでUPDATEを冪等にする 同じIDで識別される値がUPDATEされる場... 続きを読む

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

2015/02/16 332 users embulk リアルタ リリース 2015-02-16

2015-02-16 並列データ転送ツール『Embulk』リリース！ こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData RedShift 実装

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

『Prestoとは何か，Prestoで何ができるか』 - トレジャーデータ（Treasure Data）公式ブログ

2014/07/10 166 users Presto Facebook Faceb トレジャーデータ

2014-07-10 『Prestoとは何か，Prestoで何ができるか』 Platform Hadoop Event Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で，弊社Software Architectの古橋が発表しました。 テーマは，Facebookが公開した新しい分散処理基盤，Presto。実はFaceb... 続きを読む

続・リトライと冪等性のデザインパターン - リトライはいつ成功するか - Blog by Sadayuki Furuhashi

2014/06/12 330 users リトライ 冪等性 Delete デザインパターン リソース

2014-06-12 続・リトライと冪等性のデザインパターン - リトライはいつ成功するか 三度の飯よりエラー処理。古橋です。大変好評をいただいた序章リトライと冪等性のデザインパターンの続編です。 依然として地味ながら、若干発展的な内容です： パターン２：エラーを区別してDELETEを冪等にする リソースに常に一意なIDが振られていれば、Deleteを冪等にするのは難しくない。そもそも同じリソース... 続きを読む

リトライと冪等性のデザインパターン - Blog by Sadayuki Furuhashi

2014/06/09 672 users リトライ 冪等性 日常茶飯事 使い物 デザインパターン

2014-06-09 リトライと冪等性のデザインパターン リトライを肴に一晩酒が飲める古橋です。大規模なデータに触れることが日常茶飯事になっている今日この頃。この分野のおもしろいところは、いつまで経っても終わらないプログラムを簡単に作れてしまうことかもしれません。エラー処理、リトライそして冪等性の３つを抑えていないプログラムは、小規模なデータなら問題ないが、データ量が多くなると使い物にならなくなる... 続きを読む

データの更新履歴をRDBMSからfluentdに流すfluent-plugin-sql - Blog by Sadayuki Furuhashi

2013/12/09 66 users RDBMS fluentd 性能向上 Fluentd v11

2013-12-09 データの更新履歴をRDBMSからfluentdに流すfluent-plugin-sql Fluentd Advent Calendar 9日目。担当の古橋です。 Fluentd v11の情報は Fluentd Casual Talks #3 at :D でお話しすることにして、今回はFluentdの大幅な性能向上を可能にするMultiprocessプラグインを紹介…しようと思... 続きを読む

イベントログ収集ツール fluent リリース！ - 古橋貞之の日記

2011/09/29 589 users 古橋貞之 ログメッセージ イベントログ リリース 集約

こんにちは。Treasure Data の古橋です^^;先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。ただ syslogd とは異なり、ログメッセージに テキストではな... 続きを読む