日々の覚書: innodb_rubyでfast index creationとそうでないのを比べてみる

2014/10/27 20 users 覚書 InnoDB 日々 MyNA会 最初

2014年10月27日月曜日 innodb_rubyでfast index creationとそうでないのを比べてみる や、MyNA会でデモした時にむしろこれをやれよって話なんですが。 InnoDB Plugin以降で加わったInnoDBのfast index creationと、それまでのインデックス作成について、innodb_rubyを使って比べてみました。 まずは最初にロードを済ませてから、... 続きを読む

Hadoop Streaming で Locality-Sensitive Hashing を実装してみる | Atsushi TATSUMA Web Page

2011/03/01 33 users Atsushi TATSUMA アルゴリズム 分散処理 対象

はじめに研究室では、大規模データベースを対象とした検索インデックスについて研究しています。 分散処理によるインデックス作成を考えていて、今回 Hadoop Streaming でどこまでできるかを試すべく、 Locality-Sensitive Hashing (LSH) を実装してみました。実装したアルゴリズムについてLSH にはいくつかのアルゴリズムのバリエーションがあります。 LSH の詳細... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む