MessagePackフォーマット仕様にTimestamp型を追加 - Blog by Sadayuki Furuhashi

2017/08/10 78 users TimeStamp型 MessagePack XXX 追加

2017 - 08 - 10 MessagePackフォーマット仕様にTimestamp型を追加 MessagePackフォーマット仕様の Pull Request #209 をマージし、MessagePackにTimestamp型を追加しました。 ※この記事の英語版は XXX にあります（翻訳中） Extension型の型コード -1 として定義されているため、 後方互換 性が維持されています。... 続きを読む

続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 - Blog by Sadayuki Furuhashi

2017/08/10 412 users 古橋 update リトライ リク エス

2017 - 08 - 10 続々・リトライと冪等性のデザインパターン - あらゆる操作を冪等にする方法 いつも心に冪等性。古橋です。 リトライと冪等性のデザインパターン の完結編です。 だいぶ間が空いてしまいましたが！ 最後に冪等性を実装する汎用的な実装手法についてまとめていきます。 パターン６：操作ログとリク エス トIDでUPDATEを冪等にする 同じIDで識別される値がUPDATEされる場... 続きを読む

Re: 論理削除はなぜ「筋が悪い」か - Blog by Sadayuki Furuhashi

2015/03/25 222 users 論理削除 update kazuhoさん 削除フラグ 実装手法

2015-03-26 Re: 論理削除はなぜ「筋が悪い」か Kazuhoさんの論理削除はなぜ「筋が悪い」かを読んで。 UPDATEが発生しないテーブルならば、削除フラグを使った実装手法でも現在の状態と更新ログを別々に表現でき、結果として効率と過去の情報を参照できるメリットを簡潔に両立できるのではないか、という話。 大前提として全く同意なのだけども、今あるテーブルにdeleted_atを足すだけで、... 続きを読む

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

2015/02/16 332 users embulk リアルタ 古橋 リリース 2015-02-16

2015-02-16 並列データ転送ツール『Embulk』リリース！ こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタ... 続きを読む

データ転送ミドルウェア勉強会 - Blog by Sadayuki Furuhashi

2015/01/19 97 users データ転送ミドルウェア勉強会

2015-01-19 データ転送ミドルウェア勉強会 Treasure Data, Inc. 古橋貞之です。 来たる1月27日、新しいOSSツール Embulk をリリースします。EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。 入力元、出力先、ファイルフォーマット、圧縮方式などをプラグ... 続きを読む

続・リトライと冪等性のデザインパターン - リトライはいつ成功するか - Blog by Sadayuki Furuhashi

2014/06/12 330 users リトライ 古橋 冪等性 Delete デザインパターン

2014-06-12 続・リトライと冪等性のデザインパターン - リトライはいつ成功するか 三度の飯よりエラー処理。古橋です。大変好評をいただいた序章リトライと冪等性のデザインパターンの続編です。 依然として地味ながら、若干発展的な内容です： パターン２：エラーを区別してDELETEを冪等にする リソースに常に一意なIDが振られていれば、Deleteを冪等にするのは難しくない。そもそも同じリソース... 続きを読む

リトライと冪等性のデザインパターン - Blog by Sadayuki Furuhashi

2014/06/09 672 users リトライ 古橋 冪等性 日常茶飯事 使い物

2014-06-09 リトライと冪等性のデザインパターン リトライを肴に一晩酒が飲める古橋です。大規模なデータに触れることが日常茶飯事になっている今日この頃。この分野のおもしろいところは、いつまで経っても終わらないプログラムを簡単に作れてしまうことかもしれません。エラー処理、リトライそして冪等性の３つを抑えていないプログラムは、小規模なデータなら問題ないが、データ量が多くなると使い物にならなくなる... 続きを読む

デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C - Blog by Sadayuki Furuhashi

2014/03/12 63 users OpenJDK Unsafe 整数値 バイト列

2014-03-12 デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C OpenJDK や Hotspot VM には、sun.misc.Unsafe という内部APIがあり*1、これを使うと ByteBuffer.getInt や ByteBuffer.getLong よりも高速にバイト列から整数値をデコードできるという。これを駆使する... 続きを読む

データの更新履歴をRDBMSからfluentdに流すfluent-plugin-sql - Blog by Sadayuki Furuhashi

2013/12/09 66 users RDBMS 古橋 fluentd 性能向上 担当

2013-12-09 データの更新履歴をRDBMSからfluentdに流すfluent-plugin-sql Fluentd Advent Calendar 9日目。担当の古橋です。 Fluentd v11の情報は Fluentd Casual Talks #3 at :D でお話しすることにして、今回はFluentdの大幅な性能向上を可能にするMultiprocessプラグインを紹介…しようと思... 続きを読む