医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話

2024/09/16 136 users MySQL デフォ ベクトルDB 知見 精度

どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決でき... 続きを読む

Cloudflare D1 を使った日本語の全文検索を実装する

2024/08/05 10 users Cloudflare D1 日本語 SQLite SQL 制限

最近、SQL アンチパターンという本を読んでいたら、MySQL、 PostgreSQL、SQLite などのデータベースでも拡張機能を利用することで全文検索を実装できることを知りました。[1] SQLite で構築されている Cloudflare D1 についても調べてみたところ、制限はあるものの全文検索の拡張機能が使えるということがわかりました。... 続きを読む

ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG

2024/06/12 19 users ZOZOTOWN elasticsearch ベクトル検索

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入... 続きを読む

Twitter/Blueskyの自己ポストの全文検索サービスをNext.js App Router(RSC)で書きなおした方法/設計/感想

2024/02/27 17 users RSC Twitter tweets twilog API

mytweetsという自分の Twitter/Bluesky の自己ポストの全部検索サービスをNext.js App Router(RSC)で書きなおしました。 mytweets は Twitter のアーカイブや Bluesky の API を使って自分のポストを S3 に保存しておき、 S3 Selectを使って全文検索ができる自分専用の Twilog のようなサービスです。 自分の Tweets を... 続きを読む

法律のデータ構造と検索

2023/12/18 288 users 法律 データ構造 検索 Pythonライブラリ 現行

デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に... 続きを読む

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

2023/12/08 172 users プロトタイピング ベクトル検索 コネヒト開発者ブログ モデル

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく... 続きを読む

QNAPの全文検索「Qsirch」で、NAS内の文書をChatGPTのコンテキストとして利用する【イニシャルB】

2023/06/11 25 users QNAP chatgpt コンテキスト 文書 イニシャルB

続きを読む

「略式軍服」という言葉の使用例は、国立国会図書館デジタルコレクションの全文検索では33件 - 法華狼の日記

2023/05/26 56 users 略式軍服 ゼレンスキー 法華狼 ウクライナ侵攻 グーグル

ウクライナ大統領のウォロディミル・ゼレンスキー氏の服装が「略式軍服」とインターネットで位置づけられた経緯について、「人間ジェネリック@DividedSelf_94」氏が調査していた。 ゼレンスキーは「略式軍服」を着たのか？｜ヒト 最初に、ウクライナ侵攻が起きる2022年以前から2010年までを遡って「略式軍服」でグーグル... 続きを読む

「あのページ何だったっけ……」を激減して情報収集効率を爆上げできる履歴全文検索アドオン「Falcon」レビュー

2023/02/08 177 users Falcon ワード 本文 ブラウザ拡張機能 タイトル

インターネットで調べ物をしていると、「過去に閲覧したページをもう一度閲覧したいけど、タイトルを忘れて検索できない！」という困った状態が頻繁に発生します。ブラウザ拡張機能「Falcon」を使えば、閲覧したページの本文を自動保存して「記事内のかろうじて覚えているワード」を用いた全文検索が可能になるとのこと... 続きを読む

はてブの検索機能の欠点

2020/12/24 15 users 辞書 欠点 単語 ブコメ エラー

はてブで自分のブコメを検索しても、検索結果でヒットしないことがある。明らかなエラーだ。どうしてこういうことが起こるのか？　また、どうすれば解決できるのか？ 調べたところ、次のことがわかった。 「全文検索で単語を項目化するときに、辞書の数が少なすぎるので、連結した形の単語は項目化されない」 たとえば、... 続きを読む

読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) - 好奇心に殺される。- pon のテックブログ

2020/12/02 12 users PON overview Lucene 好奇心 Java

Lucene / Java 読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) Lucene IndexWriter の内部を冒険します。 Overview こんにちは pon です。 全文検索エンジンは男の夢です。故に全文検索ライブラリであるLuceneの内部を理解するためにIndexWriterの実装をコードで追います。IndexWriterを追うことで... 続きを読む

MySQLで全文検索その1(Mroonga編) - 虎の穴開発室ブログ

2020/03/31 21 users MySQL とら 手法 穴ラボ 全文検索エンジン

こんにちは、お久しぶりです。虎の穴ラボのA.M.です。 前回の記事「全文検索エンジンについて調べてみた」から大分間が空いてしまいましたが、今回はとらのあなのサービスで使用頻度の高いMySQLで、実際に全文検索をやってみたいと思います。 MySQLで手軽に全文検索を実現するための手法としては、以下の２つが挙げられ... 続きを読む

JavaScriptで全文検索(N-gram)を実装してみる！ | Simple is Beautiful.

2019/12/24 25 users N-gram アドベントカレンダー インデックス 目次 実装

アドベントカレンダーもラストスパート！こんにちは、森です！ 仕組みをちゃんと理解するには実装してみることが一番！ということで、N-gramの中でも一番実装が簡単なuni-gramをjsで実装してみました！ 目次 全文検索とは uni-gram インデックスの作成 文章にdocument IDを振る 文字列の分割 文字位置付与 トークンごと... 続きを読む

Firestore だけで Algolia を使わず全文検索 - Qiita

2019/09/27 47 users Qiita Fireb Firebase Firestore

（この記事は先日2019年9月22日に開催された技術書典7にて頒布した『りあクト！ Firebaseで始めるサーバーレスReact開発』の「4-6. Firestore だけで全文検索を実現する」の内容を紹介したものです） やっぱりまだ Firestore で提供されない全文検索機能 昨日（2019年9月26日）、スペインのマドリードで開催された Fireb... 続きを読む

「次世代デジタルライブラリー」を公開しました | NDLラボ

2019/03/29 22 users 図版 NDLラボ データベース キーワード 各資料

「次世代デジタルライブラリー」は、国立国会図書館次世代システム開発研究室が開発した、実験的な機能を備えたデータベースです。 「キーワードで探す」では全文検索ができ、「絵で探す」では自動で抽出された各資料の画像・図版の中から似たものを探すことができます。その他の機能についてはトップページをご覧くださ... 続きを読む

「新元号『安久』に対応」発表文が話題→即削除　「仮置きのまま公開」と謝罪 - ITmedia NEWS

2019/03/29 16 users 謝罪 安久 新元号 仮置き ITmedia News

「新元号『安久』に対応する検索エンジンのパッチリリースを発表」と題した企業の発表文でネット騒然。動作確認のため仮置きしていた元号をそのまま発表文にも掲載・公開してしまったとし、謝罪している。 全文検索ソフト「Apache Lucene」を使った検索エンジン導入支援などを手掛けるロンウイット（千代田区）は3月28日... 続きを読む

Markdownで書けるシンプルなナレッジベース構築の為のソフトウェア・「Raneto」 | かちびと.net

2018/11/28 43 users Markdown RWD ナレッジベース ソフトウェア net

Raneto RanetoはMarkdownで書けるシンプルなナレッジベースです。軽量で高速、DB不要で動作します。レイアウトはBootstrapベースでRWDにも対応、Highlight.jsによるハイライト、Lunrで全文検索に対応しているそうです。静的サイトジェネレータで作るWiki的な感じでしょうか。シンプルで見やすく、カスタマイズもしやすい... 続きを読む

Elasticsearchの辞書・同義語を調整して『築地銀だこ』の検索をカスタマイズした - Rista Tech Blog

2018/03/27 46 users elasticsearch Kuromoji 築地銀だこ

2018 - 03 - 27 Elasticsearchの辞書・同義語を調整して『築地銀だこ』の検索をカスタマイズした Ristaの4人目エンジニアを募集中！ iOS Android Rails JOBLIST ではElasticsearchを使った全文検索が出来ます。 kuromojiを使った辞書ベースで設定されているのですが、以下のような問題があったため、辞書・同義語を調整して改善しました。 ... 続きを読む

Elasticsearchによる 全文検索の実装 in Rails // Speaker Deck

2018/03/24 22 users elasticsearch Speaker Deck 実装

All slide content and descriptions are owned by their creators. 続きを読む

発表資料: Elasticsearchによる 全文検索の実装 in Rails - Islands in the byte stream

2018/03/24 108 users elasticsearch railsdm 実装 資料 最初

2018 - 03 - 24 発表資料: Elasticsearchによる 全文検索の実装 in Rails Rails Developers Meetup 2018 (#railsdm) で話した資料です。 最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。 ... 続きを読む

TIMEMAP

2017/10/30 74 users TIMEMAP 年表形式 各種データベース キーワード

TIMEMAPは、与えられたキーワードに対し、各種データベースに対し全文検索をおこない、検索結果を年表形式に表示するともに、ヒット結果を様々なグラフ形式で集約表示します。 続きを読む

Redmineの最新機能でサポートデスク管理をより効率よく使う運用方法のアイデア: プログラマの思索

2017/09/08 41 users Redmine redmineosaka 思索 ククログ メモ

前回のRedmine大阪で、前田剛さん、須藤さんの話を聞きながら、Redmineの最新機能でサポートデスクをより効率よく使う運用方法について、考えたことをメモ。 ラフなメモ書き。 【参考】 第17回Redmine大阪の感想 #redmineosaka: プログラマの思索 Redmine大阪 第17回勉強会 - 全文検索でRedmineをさらに活用！ #RedmineOsaka - ククログ(201... 続きを読む

Amazon RDS for MySQL と全文検索 ｜ Developers.IO

2017/07/07 143 users 藤本 使いどころ MySQL cmdevio2017 資料

こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された... 続きを読む

MySQL のサブクエリって、ほんとに遅いの？ ｜ Developers.IO

2017/06/02 252 users サブクエリ Aurora RDS クラスメソッド MySQL

こんにちは、みかみです。 今日の クラスメソッドのAWSおみくじ 、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 ... 続きを読む

ネット年鑑「インターネット白書」2016年版無料公開　トータル20年分、全文検索もOK - ITmedia NEWS

2017/02/08 17 users インターネット白書 ITmedia News 年鑑 動向 技術

インプレスR＆Dなどで構成するインターネット白書編集委員会は2月7日、日本のインターネットの動向を記録した書籍年鑑「インターネット白書」の2016年版のPDFデータを「 インターネット白書ARCHIVES 」で無料公開した。 インターネット白書は、ネットの技術や市場動向、社会との関係などをまとめた年鑑。前年分までをWebで無料公開する取り組みを2014年から始めており、1996年の創刊号から全20... 続きを読む