Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう

2019/07/05 327 users PageRank れんしゅう サーチエンジン Python

検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エ... 続きを読む

Kazuho's Weblog: ソート済の整数列を圧縮する件

2015/11/06 65 users Kazuho's Weblog ブラウザキャッシュ CSS

圧縮されたソート済の整数列ってのは汎用的なデータ構造で、たとえば検索エンジンの転置インデックスとか、いろんなところで使うわけです。で、検索エンジンの場合は速度重要なので、PForDeltaとか様々なデータ構造が研究されてる。 一方、H2O には、ブラウザキャッシュに載ってない js や css をサーバプッシュする仕組み「cache-aware server push」があって、何がキャッシュされ... 続きを読む

作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマになりたい

2014/09/21 279 users プログラマ 2014-09-22 文章 先行発売 検索エンジン

2014-09-22 作って覚える転置インデックス、「検索エンジン自作入門」 先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作... 続きを読む

Shibu's Diary: ブラウザ上で動く検索エンジンOktavia

2013/12/18 61 users Shibu's Diary エントリー 勢い 検索エン 意識

HTML5アドベントカレンダー向けのエントリーです。ブラウザでできることがどんどん増えています。2013年に一部で熱狂的な話題となった本の高速文字列解析の世界を読んで意識が高まったので、勢いにまかせてブラウザで動く検索エンジンを作ってみました。 ブラウザ上の検索エンジンと転置インデックスと東アジアの微妙な関係 全然調べていないので、歴史とかよくわからないのですが、僕が始めてブラウザ上で動く検索エン... 続きを読む

KOF 2008 の発表資料 - naoyaのはてなダイアリー

2008/11/11 322 users naoya changelog PPT ダッ はてなダイアリー

KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。http://bloghackers.net/~naoya/ppt/081108huge_data.ppt一部参考文献からの引用 (Introduction to Information Retrieval から Vector spacde model の図、たつをの ChangeLog から転置インデックスの... 続きを読む

[を] 転置インデックスによる検索システムを作ってみよう！

2007/11/26 230 users algorithm 検索システム Programming

転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-ID... 続きを読む