乱択データ構造の最新事情 －MinHash と HyperLogLog の最近の進歩－

2014/05/29 85 users HyperLogLog PFI iwiwi 進歩 拓哉

乱択データ構造の最新事情 －MinHash と HyperLogLog の最近の進歩－ Presentation Transcript 乱択データ構造の最新事情 －MinHash と HyperLogLog の最近の進歩－ 東京大学 情報理工学研究科 D2 秋葉 拓哉 (@iwiwi) 2014/05/29 @ PFI セミナー 背景 誰もが大量の集合・特徴ベクトルを処理したい！ • 文章 → 単... 続きを読む

MinHashによる高速な類似検索 : Preferred Research

2011/02/02 219 users クローラー 文脈 Preferred Research 単語

年が明けてもう一ヶ月経ちましたね．岡野原です．今日はMinHashと呼ばれる手法を紹介します．これは特徴ベクトルの高速な類似検索に利用することができます(クローラーの文脈だとShingleとして知られている）．今や世の中のあらゆる種類のデータが，高次元のバイナリベクトルからなる特徴ベクトルで表されて処理されるようになってきました．例えば文書データであれば文書中に出現する単語やキーワードの出現情報を... 続きを読む