/var/log/oza.log: Coordination Service(ZooKeeper，etcd ，consul) の比較

2014/08/01 90 users log var Aug ZooKeeper 論文

Aug 1, 2014 Coordination Service(ZooKeeper，etcd ，consul) の比較 概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordin... 続きを読む

/var/log/oza.log: RCFile，Parquet，ORCFile

2013/03/18 44 users log var Parquet Cloudera ゴー

Mar 18, 2013 RCFile，Parquet，ORCFile この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コー... 続きを読む

/var/log/oza.log: Auto Commit Memory に関するメモ

2012/01/13 33 users log var IOPS commit Bus

Jan 13, 2012 Auto Commit Memory に関するメモ Fusion IO が，Auto Commit Memory という新技術のプレスリリースをした．プレスリリースによると，数十億 IOPS という驚異的な性能が出るということだが，PCI Express の Bus を介して毎回 commit しているとすると，明らかに物理性能を超えており，ホントにデータの永続化が保証さ... 続きを読む

/var/log/oza.log: スケーラビリティ自体に魅せられちゃいけない

2011/11/05 10 users log var hacker 自戒 ユーザ

Nov 5, 2011 スケーラビリティ自体に魅せられちゃいけない 自戒を込めた日記． IT システムというのは何らかの問題を解決するために存在している．しかし，技術的な面白さから，システム自体にとりつかれていしまう人々が存在する．多くの場合，それは "hacker" と呼ばれている人々に多いように思う．それ自体はすばらしいことだ…仕事にさえしなければ． 仕事の場合，ユーザはITシステムを問題を解... 続きを読む