静的サイト向けの全文検索エンジンと UI ライブラリの Pagefind

2024/01/06 159 users CLI ヘッダー ライブラリ インデックス コマンド

デモとして、このブログに Pagefind を導入してみました。ヘッダーの検索アイコンをクリックすると検索フォームが表示されるので、キーワードを入力して検索してみてください。 使い方 Pagefind は構築済みの UI ライブラリと、CLI コマンドとしてインデックスを作成するためのツールから構成されています。まずは UI ラ... 続きを読む

自然な対話で商品検索！OpenAI と全文検索エンジンで対話型ゆるふわ検索 AI アシスタントを作ってみた | DevelopersIO

2023/06/12 13 users OpenSearch DevelopersIO GPT-4

自然な対話で商品検索！OpenAI と全文検索エンジンで対話型ゆるふわ検索 AI アシスタントを作ってみた ChatGPT(GPT-4)を対話のインタフェースに利用し、検索は自社で持つ商品 DB(OpenSearch)を組み合わせることで、店員さんと対話で商品を絞り込む体験を提供する商品検索AIアシスタントを作成したプロジェクトの結果報告... 続きを読む

noteの検索をCloudsearch からElasticsearchに移行しつつある話｜chov｜note

2023/02/10 17 users 指標 ハッシュタ ドメイン 移行 箇所

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタ... 続きを読む

『n月刊ラムダノート』Vol.3 No.1（2021）発行のお知らせ – 技術書出版と販売のラムダノート

2021/08/05 9 users しくみ ラムダノート 転置インデックス n月刊ラムダノート

いつもご来店ありがとうございます。計算機好きのための技術解説情報誌『n月刊ラムダノート』No.3 Vol.1の発売開始のお知らせです。 本号は以下の3つの記事でお送りします。 現代社会になくてはならない全文検索エンジンの多くでコアとして利用されている転置インデックスの基本について紹介する「検索エンジンのしくみ... 続きを読む

「ホットペッパービューティー」美容クリニックでのElasticsearchのユーザー辞書登録による検索改善 - Tech Blog - Recruit Engineer

2021/04/22 18 users 形態素解析器 elasticsearch バックエンド 利用

はじめに 『ホットペッパービューティー』美容クリニックのカウンセリング予約サービス(以降、美容クリニック)のバックエンドを担当している安達です。 本記事では、美容クリニックでの全文検索エンジンの利用と形態素解析器でのユーザー辞書登録の取り組みについて紹介します。 美容クリニックでの検索機能の技術スタッ... 続きを読む

読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) - 好奇心に殺される。- pon のテックブログ

2020/12/02 12 users PON overview Lucene 好奇心 Java

Lucene / Java 読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) Lucene IndexWriter の内部を冒険します。 Overview こんにちは pon です。 全文検索エンジンは男の夢です。故に全文検索ライブラリであるLuceneの内部を理解するためにIndexWriterの実装をコードで追います。IndexWriterを追うことで... 続きを読む

MySQLで全文検索その1(Mroonga編) - 虎の穴開発室ブログ

2020/03/31 21 users MySQL とら 手法 穴ラボ 大分間

こんにちは、お久しぶりです。虎の穴ラボのA.M.です。 前回の記事「全文検索エンジンについて調べてみた」から大分間が空いてしまいましたが、今回はとらのあなのサービスで使用頻度の高いMySQLで、実際に全文検索をやってみたいと思います。 MySQLで手軽に全文検索を実現するための手法としては、以下の２つが挙げられ... 続きを読む

バックドア型マルウェア「Setag/BillGates」により「Elasticsearch」サーバをボット化する攻撃を確認 | トレンドマイクロ セキュリティブログ

2019/08/01 12 users elasticsearch トレンドマイクロ サーバ 急増

サイバー犯罪者が全文検索エンジン「Elasticsearch」のサーバを狙うのは、法人組織におけるその人気と普及を考えると珍しいことではありません。事実、2019年第1四半期にはElasticsearchサーバの脆弱性やセキュリティの不備を突く攻撃の急増が見られました。トレンドマイクロの確認では、これらの攻撃は主に仮想通貨発掘... 続きを読む

Elasticsearch〜OSSの全文検索エンジン〜 | OSSでのシステム構築・デージーネット

2019/07/22 36 users OSS elasticsearch デージーネット ベース

Elasticsearchは、Apache Luceneをベースに開発された全文検索エンジンです。このページでは、Elasticsearchの特徴、Elasticsearchと周辺ツール、Elasticsearchに対するデージーネットの取り組みを紹介します。 Elasticsearchとは Elasticsearchとは、Elastic社が開発しているオープンソースソフトウェアの全文検索エン... 続きを読む

Rails で全文検索エンジンとしてElasticsearch を動かす（超初心者向け） - Qiita

2017/12/17 48 users Rails Qiita elasticsearch 前置き

こんにちは。 @katsuhisa__ です。 本記事は、「 Elastic stack (Elasticsearch) Advent Calendar 2017 」の12/18(月)分です。 前置き 今年の10月に、 第21回Elasticsearch 勉強会にて ログ解析基盤としてElastic Stack を導入した際のお話を発表 したのですが、プレゼンの最後で、「 次は全文検索エンジンとし... 続きを読む

第17回Redmine大阪の感想 #redmineosaka: プログラマの思索

2017/08/27 29 users Redmine radioc redmineosaka 思索

昨日開催された第17回Redmine大阪の感想をラフなメモ。 疲れているので書きかけ。 【参考】 Redmine大阪　第17回勉強会 - connpass Redmine大阪　第17回勉強会「Redmineの全文検索エンジンとRedmine3.4.0の徹底解説！」#redmineosaka - Togetterまとめ 【勉強会メモ】Redmine大阪　第17回勉強会 - radioc@? Redm... 続きを読む

Elasticsearch 勉強会を開催したので資料公開します。1/2 – Veltra Engineering – Medium

2017/06/29 203 users elasticsearch medium リモート 前半 資料

６月２７日にクラスメソッド事業開発部の開発メンバーとベルトラ開発メンバー合同で Elasticsearch 勉強会１/２を開催しました。参加者はリモートも含めて約２５人くらい。時間は２時間。久しぶりに長時間喋ったので疲れました。。たくさんの人が参加すると聞いていたので、この勉強会のために資料まとめたので公開します。 Elasticsearch 勉強会 1/2 前半 全文検索エンジンの特徴について話... 続きを読む

昔、全文検索エンジンを作っていた | おごちゃんの雑文

2015/10/13 23 users 雑文 おごちゃん

これは単なる昔話である。 しかし、ある種の人達にとっては、「技術的昔話」はとても意味のあることもある。それは技術そのものではない事情だ。そういった人達のために記録しておく。この文章の技術的な価値は、現代ではほぼ0であろう。以下の話は技術的なことに見えるが、あくまでもそれは エビデンス としてであって、技術そのものとしては価値はない。今となっては、誰でも知ってることに過ぎない。「当時」だから価値があ... 続きを読む

検索技術と自然言語処理技術を駆使して話題のトピックをひとまとめ ～はてなブックマークのトピックページの作り方 (1/4)：CodeZine（コードジン）

2015/07/24 100 users CodeZine トピックページ CaBoCha トピック

本連載は、はてなエンジニアが、はてなのサービスを支えている技術や日頃注目している技術について解説するものです。今回は、はてなブックマークの10周年記念の第1弾として開発した、「トピックページ」の作り方について紹介します。全文検索エンジン「Elasticsearch」、日本語係り受け解析器である「CaboCha」などを活用し、話題となっているトピックの抽出と、トピックタイトルの自動生成を行います。 ... 続きを読む

フリーのビッグデータ分析学習環境を使って、全文検索アプリケーションを構築してみる （1/3）：CodeZine

2015/06/19 40 users CodeZine ログメッセージ Spark サーバ 直近

前回の記事では、Sparkを使ってバスケット分析を行いました。最終回では、Apache Solrベースの全文検索エンジン「Cloudera Search」を使って全文検索アプリケーションを構築します。 サーバのログは常に生成され続けます。一日に一回アップロードするという運用では、直近で発生しているイベントを検索することができません。Cloudera Searchを使えば、生成されるログメッセージを... 続きを読む

Rubyで簡単に全文検索エンジンが作れるGrnMiniを作った - ブログのおんがえし

2014/01/06 156 users groonga rroonga Array おんがえし データ

2014-01-06 Rubyで簡単に全文検索エンジンが作れるGrnMiniを作った ruby groonga rroonga web programming RubyでただのArrayだと思って・・の続きです。正月中に整備してgem化しました。 GrnMini ongaeshi/grn_mini Groonga(Rroonga)を簡単に使えるようにラップしたものです。 カラム指定不要でデータを追... 続きを読む

RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った - ブログのおんがえし

2013/12/22 107 users Array おんがえし rroonga Ruby 全文検索

2013-12-22 RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った ruby rroonga groonga web Ruby Advent Calendar 22日目の記事です RroongaというRubyで使える全文検索エンジンがあって愛用しているのですが、使う前の準備でカラム指定やデータ型を指定したり、全文検索のためのイン... 続きを読む

オフラインでも使えるJavaScriptベースの全文検索エンジン「Fullproof」 - MOONGIFT|オープンソース・ソフトウェア紹介を軸としたITエンジニア、Webデザイナー向けブログ

2012/10/11 63 users MOONGIFT ローカルストレージ IndexedDB

FullproofはHTML5のローカルストレージに対応し、WebSQLやIndexedDBにも対応します。Unicodeをフルサポートしています。スコアによって順位が決定します。発音記号に対応しますが、現在は英語とフランス語のみとなっています。JavaScriptだけとあって動作は高速です。 0 続きを読む

Dipus - 全文検索サーバー — そこはかとなく書くよん。

2012/08/23 28 users Sphinx PYPI r_rudi http 検索

Dipus - 全文検索サーバー Sphinxの検索がだめなので、dipusっていうのを作ってみました。これは、WhooshというPure pythonの全文検索エンジンを使った全文検索サーバーです。 pypi:http://pypi.python.org/pypi/dipus bitbucket:http://bitbucket.org/r_rudi/dipus dipusは、sphinxとの連... 続きを読む

Apache LuceneをC言語に「ゆるく」ポーティングした全文検索エンジン「Apache Lucy 0.3」リリース - SourceForge.JP Magazine : オープンソースの話題満載

2012/02/06 23 users Apache Lucene JP Magazine C言語

SourceForge.JP Magazine注目記事 ハードディスクの中身を誤って消した場合のファイル復旧方法 ハードディスクを完全消去する「DBAN」のインストールと使い方 HDD/SSDの健康診断を行うS.M.A.R.T.対応ツール「CrystalDiskInfo」 の使い方 HDDやSSDなどの速度を計測するベンチマークソフト「CrystalDiskMark」 の使い方 CDやUSBメモリ... 続きを読む

groonga - InnoDB純正の全文検索エンジンInnoDB FTS

2011/07/28 134 users groonga InnoDB mroonga MySQL 製品

InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもI... 続きを読む

第5回Solr勉強会に参加しました #SolrJp - nokunoの日記

2011/05/17 15 users nokuno Mecab Igo TokyoNLP Solr

というわけで、途中からですが第5回Solr勉強会に参加しました。会場は#TokyoNLPと同じECナビさん。Solrは最近勢いのあるオープンソースの全文検索エンジンで、mecabを使ったりして日本語の検索にも対応しているようです。第5回Solr勉強会 : ATNDWelcome to Solr Tokenizer いろいろ比較 by @haruyamaさん （途中から） Igoという形態素解析器が... 続きを読む

非同期で全文検索エンジンgroongaを叩く AnyEvent::Groonga 書いたよ - ダウンロードたけし（寅年）の日記

2011/02/28 27 users AnyEvent CPAN groonga 非同期 寅年

要するにAnyEventでgroongaを使いたかったのでperlモジュール書きました。んでもって久々にCPANにアップしましたよ、という告白です。AnyEvent::Groonga - Groonga client for AnyEventhttp://search.cpan.org/~miki/AnyEvent-Groonga/非同期でガンガン全文検索エンジンを叩きたいな、ということでAnyE... 続きを読む

llameradaの日記 - JavaScriptによる全文検索エンジン

2007/01/23 210 users llamerada mmap http JavaScript

JavaScriptでインデックス型の全文検索エンジンを作ってみた。全文検索エンジンを作る際に問題となるのは、インデックスデータを部分的に読み込む方法である。通常はmmapやpreadなどを使ってファイルの一部を部分的に読み込むのだが、もちろん、ブラウザには使えない。ブラウザでファイルの一部分を読み込むには2通りの方法がある。1つは、ファイルを多数のファイルに分割する方法であり、もう1つはHTTP... 続きを読む

組み込み型全文検索エンジン Senna : NDO::Weblog

2005/03/28 43 users DBMS NDO Senna UNIX Weblog

組み込み型全文検索エンジン Senna [ Linux & UNIX ] Senna: 組み込み型全文検索エンジンSennaは組み込み型の全文検索エンジンです。DBMSやスクリプト言語処理系等に組み込むことによって、その全文検索機能を強化することができます。 n-gramインデックスと単語インデックスの特徴を兼ね備えた、高速かつ高精度な転置インデックスタイプのエンジンです。コンパクトな実装ですが、... 続きを読む