医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話

2024/09/16 136 users MySQL デフォ ベクトルDB 知見 精度

どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決でき... 続きを読む

法律のデータ構造と検索

2023/12/18 288 users 法律 データ構造 検索 Pythonライブラリ 現行

デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に... 続きを読む

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

2023/12/08 172 users プロトタイピング ベクトル検索 コネヒト開発者ブログ モデル

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく... 続きを読む

「略式軍服」という言葉の使用例は、国立国会図書館デジタルコレクションの全文検索では33件 - 法華狼の日記

2023/05/26 56 users 略式軍服 ゼレンスキー 法華狼 ウクライナ侵攻 グーグル

ウクライナ大統領のウォロディミル・ゼレンスキー氏の服装が「略式軍服」とインターネットで位置づけられた経緯について、「人間ジェネリック@DividedSelf_94」氏が調査していた。 ゼレンスキーは「略式軍服」を着たのか？｜ヒト 最初に、ウクライナ侵攻が起きる2022年以前から2010年までを遡って「略式軍服」でグーグル... 続きを読む

「あのページ何だったっけ……」を激減して情報収集効率を爆上げできる履歴全文検索アドオン「Falcon」レビュー

2023/02/08 177 users Falcon ワード 本文 ブラウザ拡張機能 タイトル

インターネットで調べ物をしていると、「過去に閲覧したページをもう一度閲覧したいけど、タイトルを忘れて検索できない！」という困った状態が頻繁に発生します。ブラウザ拡張機能「Falcon」を使えば、閲覧したページの本文を自動保存して「記事内のかろうじて覚えているワード」を用いた全文検索が可能になるとのこと... 続きを読む

発表資料: Elasticsearchによる 全文検索の実装 in Rails - Islands in the byte stream

2018/03/24 108 users elasticsearch railsdm 実装 資料 最初

2018 - 03 - 24 発表資料: Elasticsearchによる 全文検索の実装 in Rails Rails Developers Meetup 2018 (#railsdm) で話した資料です。 最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。 ... 続きを読む

TIMEMAP

2017/10/30 74 users TIMEMAP 年表形式 各種データベース キーワード

TIMEMAPは、与えられたキーワードに対し、各種データベースに対し全文検索をおこない、検索結果を年表形式に表示するともに、ヒット結果を様々なグラフ形式で集約表示します。 続きを読む

Amazon RDS for MySQL と全文検索 ｜ Developers.IO

2017/07/07 143 users 藤本 使いどころ MySQL cmdevio2017 資料

こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された... 続きを読む

MySQL のサブクエリって、ほんとに遅いの？ ｜ Developers.IO

2017/06/02 252 users サブクエリ Aurora RDS クラスメソッド MySQL

こんにちは、みかみです。 今日の クラスメソッドのAWSおみくじ 、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 ... 続きを読む

理想の読書システムが構築できたので紹介します - ブログのおんがえし

2015/10/27 255 users おんがえし オライリー gihyo 理想 ソフトウェア

2015-10-27 理想の読書システムが構築できたので紹介します honyomi エッセイ book groonga ruby programming 電子書籍、全文検索、Webアプリケーションといった現代技術を組み合わせる(無いものは自分でソフトウェアを書いた)ことで理想の読書システムを構築することができた気がしたので紹介します。 1. 購入 コンピュータ関連の書籍は Gihyo、オライリー、... 続きを読む

アルゴリズム - ハクビシンにもわかる全文検索 - Qiita

2015/07/21 242 users ハクビシン Qiita アルゴリズム FM-Index リニア

高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数... 続きを読む

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する （1/3）：CodeZine

2015/04/24 263 users CodeZine RDBMS Hadoop VM環境 起動

この連載では、フリーのVM環境「Cloudera Quick Start VM」を使って、ビッグデータ分析に必要な各種技術（データの取込み、非構造化データの分析、機械学習、全文検索など) を学習します。この連載を読むことで、ビッグデータ分析基盤に必要な基礎技術を学ぶことができます。第1回では、VM環境のダウンロードと起動、RDBMSからHadoopへのデータのインポート、Hadoop上でのテーブル... 続きを読む

blogサービスの全文検索の話 - #groonga を囲む夕べ

2014/11/29 125 users groonga 夕べ Blogサービス

Creating A Blog In Blogger Woodrow Wilson High School 966 views Blogging In A Managed Environment Cetis, University of Bolton 1,846 views 続きを読む

Riak 2.0 における全く新しい体験　スケールアウトする全文検索 // Speaker Deck

2014/11/11 70 users Riak Speaker Deck スケール 体験

All slide content and descriptions are owned by their creators. 続きを読む

Rails から Elasticsearch を使っているときのテストの書き方（elasticsearch-rails, RSpec） - 彼女からは、おいちゃんと呼ばれています

2014/11/03 87 users おいちゃん Rails rspec エロサイト テスト

2014-11-03 Rails から Elasticsearch を使っているときのテストの書き方（elasticsearch-rails, RSpec） Elasticsearch Rails テスト みんな大好き babyshark（エロサイトにつき閲覧注意）では全文検索に Elasticsearch を使っています。テストの書き方について日本語情報が少ないようなので、僕はこういう感じで書い... 続きを読む

MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 - CreateField Blog

2014/10/29 55 users groonga mroonga MariaDB Engine

2014-10-29 MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 Groonga Mroonga はじめに MySQL/MariaDBで高速に全文検索するためのオープンソースのストレージエンジンMroongaは、以下のように、Engine=Mroonga、FULLTEXT INDEX (${source_column})と書くだけで非常に簡単に全文検索を使い始める... 続きを読む

ElasticSearchの運用とか (3) - なんかかきたい

2014/06/19 60 users elasticsearch github.com 監視周り

2014-06-20 ElasticSearchの運用とか (3) elasticsearch jvm 全文検索 運用 監視周りの情報とかをペタペタと書きました。 ステータス監視 Munin https://github.com/claygregory/munin-elasticsearch 色々あるけど、これが有力そう。 Plugin/HQ https://github.com/royrusso... 続きを読む

ElasticSearchの運用とか (1) - なんかかきたい

2014/04/16 98 users elasticsearch Kibana 構築 運用 依頼

2014-04-17 ElasticSearchの運用とか (1) ElasticSearch 最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせ... 続きを読む

RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った - ブログのおんがえし

2013/12/22 107 users Array おんがえし rroonga Ruby イン

2013-12-22 RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った ruby rroonga groonga web Ruby Advent Calendar 22日目の記事です RroongaというRubyで使える全文検索エンジンがあって愛用しているのですが、使う前の準備でカラム指定やデータ型を指定したり、全文検索のためのイン... 続きを読む

Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura

2013/10/20 175 users laysakura CPANモジュール Mecab perl

2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール，Search::Fulltext をリリースしました． これ単品だと英語での全文検索ができるのですが，これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります． ここ... 続きを読む

クライアントサイドで全文検索を実現する方法 | IDEA*IDEA

2013/09/11 75 users クライアントサイド IDEA インクリメンタル検索 not

ちとメモしておこう。CSSとJavaScriptを駆使してクライアントサイドで全文検索する方法ですな。 ↑ こんな感じでインクリメンタル検索ができます。 仕組みは簡単で、全文をCSSのデータ属性に突っ込んでおいてJSでごにょごにょするだけですな。JSの方で「:not」使っているのが新しい感じです。 ちょこっと検索フォームを作りたいけど、サーバーと通信するのはどうもね・・・という時もあるかと思います... 続きを読む

Markdownにも対応した国産オンラインメモ帳サービス『Wri.pe』 | Black Everyday Company

2013/08/31 157 users iPhone Markdown マッピング 増井雄一郎氏 要件

2013年8月31日土曜日 Markdownにも対応した国産オンラインメモ帳サービス『Wri.pe』 『Wri.pe』は、増井雄一郎氏が作ったオンラインメモ帳サービス 個人でメモ帳アプリ wri.pe リリースしてみました。にかかれていた要件は下記の通り markdownをサポート gmailの様なアーカイブ機能 全文検索 カレンダーへのマッピング iPhone / iPadをサポート キーボード... 続きを読む

フィードリーダー feedly に月5ドルのPro版、Evernote連携や全文検索など。先着5000名の99ドル / 一生プランも - Engadget Japanese

2013/08/05 58 users Evernote連携 Engadget Japanese

フィードリーダー feedly に月5ドルのPro版、Evernote連携や全文検索など。先着5000名の99ドル / 一生プランも By Ittousai posted 2013年08月05日 17時10分 0 Googleリーダー後継にいち早く名のりを上げたフィードリーダー Feedly が、月5ドルまたは年45ドルの有料版 Feedly Pro を開始しました。有料版ではフィード内の全文検索... 続きを読む

第5回　Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介：隔週連載groonga｜gihyo.jp … 技術評論社

2013/06/04 108 users groonga Milkode rroonga Ruby 事例

隔週連載groonga 第5回　Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介 2013年6月4日 須藤功平 Ruby, groonga, rroonga, 全文検索 この記事を読むのに必要な時間：およそ 6 分 1 2 3 前回のMilkodeでの事例紹介では，Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エン... 続きを読む

個人でメモ帳アプリ wri.pe リリースしてみました。 - @masuidrive blog

2013/06/03 233 users wri.pe masuidrive blog メモ帳アプリ

この1年間、ミイルとMobiRubyをコツコツと作っていて、個人としてWebサービス的なものを全く作っていなかったので、 気分転換 とRails4 + Ruby2.0のテストを兼ねて自分用に メモ帳サービス を作って wri.peとして公開しました。 私が使いたいメモ帳の要件は、こんな感じでした。 markdownをサポート gmailの様なアーカイブ機能 全文検索 カレンダーへのマッピング iP... 続きを読む