『n月刊ラムダノート』Vol.3 No.1（2021）発行のお知らせ – 技術書出版と販売のラムダノート

2021/08/05 9 users しくみ ラムダノート n月刊ラムダノート コア 発行

いつもご来店ありがとうございます。計算機好きのための技術解説情報誌『n月刊ラムダノート』No.3 Vol.1の発売開始のお知らせです。 本号は以下の3つの記事でお送りします。 現代社会になくてはならない全文検索エンジンの多くでコアとして利用されている転置インデックスの基本について紹介する「検索エンジンのしくみ... 続きを読む

情報検索に興味が沸いたのでGoで検索エンジンを自作している - ?

2020/12/11 29 users 検索エンジン 興味 analyzer 情報検索 tl;dr

この記事はRecruit Engineers Advent Calendar 2020の11日目の記事です。 TL;DR 対象読者は転置インデックスを少し知ってるくらいの検索初心者です 検索エンジンに興味が湧き、仕組みを知るためにGoで自作しています 自作検索エンジンのAnalyzerとIndexerとSearcherを紹介します はじめに ここ最近、以下の観点から情報... 続きを読む

Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう

2019/07/05 327 users PageRank れんしゅう サーチエンジン Python

検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エ... 続きを読む

Kazuho's Weblog: ソート済の整数列を圧縮する件

2015/11/06 65 users Kazuho's Weblog ブラウザキャッシュ CSS

圧縮されたソート済の整数列ってのは汎用的なデータ構造で、たとえば検索エンジンの転置インデックスとか、いろんなところで使うわけです。で、検索エンジンの場合は速度重要なので、PForDeltaとか様々なデータ構造が研究されてる。 一方、H2O には、ブラウザキャッシュに載ってない js や css をサーバプッシュする仕組み「cache-aware server push」があって、何がキャッシュされ... 続きを読む

作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマになりたい

2014/09/21 279 users プログラマ 2014-09-22 文章 先行発売 検索エンジン

2014-09-22 作って覚える転置インデックス、「検索エンジン自作入門」 先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作... 続きを読む

Shibu's Diary: ブラウザ上で動く検索エンジンOktavia

2013/12/18 61 users Shibu's Diary エントリー 勢い 検索エン 意識

HTML5アドベントカレンダー向けのエントリーです。ブラウザでできることがどんどん増えています。2013年に一部で熱狂的な話題となった本の高速文字列解析の世界を読んで意識が高まったので、勢いにまかせてブラウザで動く検索エンジンを作ってみました。 ブラウザ上の検索エンジンと転置インデックスと東アジアの微妙な関係 全然調べていないので、歴史とかよくわからないのですが、僕が始めてブラウザ上で動く検索エン... 続きを読む

[IR] 転置インデックスとtop-k query - tsubosakaの日記

2012/02/12 38 users tsubosaka 手法 文章 教科書 範囲

転置インデックスから上位k件の文章を取ってくる手法について、知ってる範囲でまとめてみました。転置インデックスとTop k-query View more presentations from tsubosakaこの辺の話は教科書だとInformation Retrieval: Implementing and Evaluating Search Engines作者: Stefan Buettche... 続きを読む

Luceneの曖昧検索を100倍高速化したアルゴリズム - nokunoの日記

2011/03/28 32 users nokuno Lucene オートマトン アルゴリズム 実装

@nobu_k さんのつぶやきでこのエントリを知りました。Changing Bits: Lucene’s FuzzyQuery is 100 times faster in 4.0Luceneで曖昧検索を効率化した話です。 最初の実装では、転置インデックスを全探索して編集距離がN以下の単語を拾っていたレーベンシュタインオートマトンという、編集距離がN以下の単語のみをアクセプトするオートマトンを利用... 続きを読む

開発メモ: IndexDB: 転置インデックスのためのDB

2011/03/11 29 users 時分 連想配列 表現 検索エンジン リスト

大震災の時分に何だが、Kyoto Cabinetベースで検索エンジンの核となる転置インデックスを作るのに適したDBを実装したという話。転置インデックスとappend操作多くの検索エンジンの核となる転置インデックスとは、検索語に一致する表現がどこに出てきたかという位置情報のリストを保持するものであり、検索語をキーとして位置情報リストを値とする連想配列である（転置インデックスを使わない検索エンジンもあ... 続きを読む

KOF 2008 の発表資料 - naoyaのはてなダイアリー

2008/11/11 322 users naoya changelog PPT ダッ はてなダイアリー

KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。http://bloghackers.net/~naoya/ppt/081108huge_data.ppt一部参考文献からの引用 (Introduction to Information Retrieval から Vector spacde model の図、たつをの ChangeLog から転置インデックスの... 続きを読む

[を] 転置インデックスによる検索システムを作ってみよう！

2007/11/26 230 users algorithm 検索システム Programming

転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-ID... 続きを読む