Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう

2019/07/05 327 users PageRank れんしゅう サーチエンジン Python

検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エ... 続きを読む

作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマになりたい

2014/09/21 279 users プログラマ 2014-09-22 文章 先行発売 検索エンジン

2014-09-22 作って覚える転置インデックス、「検索エンジン自作入門」 先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作... 続きを読む

KOF 2008 の発表資料 - naoyaのはてなダイアリー

2008/11/11 322 users naoya changelog PPT ダッ はてなダイアリー

KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。http://bloghackers.net/~naoya/ppt/081108huge_data.ppt一部参考文献からの引用 (Introduction to Information Retrieval から Vector spacde model の図、たつをの ChangeLog から転置インデックスの... 続きを読む

[を] 転置インデックスによる検索システムを作ってみよう！

2007/11/26 230 users algorithm 検索システム Programming

転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-ID... 続きを読む