医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話

2024/09/16 136 users MySQL デフォ ベクトルDB 知見 精度

どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決でき... 続きを読む

法律のデータ構造と検索

2023/12/18 288 users 法律 データ構造 検索 Pythonライブラリ 現行

デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に... 続きを読む

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

2023/12/08 172 users プロトタイピング ベクトル検索 コネヒト開発者ブログ モデル

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく... 続きを読む

「あのページ何だったっけ……」を激減して情報収集効率を爆上げできる履歴全文検索アドオン「Falcon」レビュー

2023/02/08 177 users Falcon ワード 本文 ブラウザ拡張機能 タイトル

インターネットで調べ物をしていると、「過去に閲覧したページをもう一度閲覧したいけど、タイトルを忘れて検索できない！」という困った状態が頻繁に発生します。ブラウザ拡張機能「Falcon」を使えば、閲覧したページの本文を自動保存して「記事内のかろうじて覚えているワード」を用いた全文検索が可能になるとのこと... 続きを読む

発表資料: Elasticsearchによる 全文検索の実装 in Rails - Islands in the byte stream

2018/03/24 108 users elasticsearch railsdm 実装 資料 最初

2018 - 03 - 24 発表資料: Elasticsearchによる 全文検索の実装 in Rails Rails Developers Meetup 2018 (#railsdm) で話した資料です。 最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。 ... 続きを読む

Amazon RDS for MySQL と全文検索 ｜ Developers.IO

2017/07/07 143 users 藤本 使いどころ MySQL cmdevio2017 資料

こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された... 続きを読む

MySQL のサブクエリって、ほんとに遅いの？ ｜ Developers.IO

2017/06/02 252 users サブクエリ Aurora RDS クラスメソッド MySQL

こんにちは、みかみです。 今日の クラスメソッドのAWSおみくじ 、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 ... 続きを読む

理想の読書システムが構築できたので紹介します - ブログのおんがえし

2015/10/27 255 users おんがえし オライリー gihyo 理想 ソフトウェア

2015-10-27 理想の読書システムが構築できたので紹介します honyomi エッセイ book groonga ruby programming 電子書籍、全文検索、Webアプリケーションといった現代技術を組み合わせる(無いものは自分でソフトウェアを書いた)ことで理想の読書システムを構築することができた気がしたので紹介します。 1. 購入 コンピュータ関連の書籍は Gihyo、オライリー、... 続きを読む

アルゴリズム - ハクビシンにもわかる全文検索 - Qiita

2015/07/21 242 users ハクビシン Qiita アルゴリズム FM-Index リニア

高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数... 続きを読む

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する （1/3）：CodeZine

2015/04/24 263 users CodeZine RDBMS Hadoop VM環境 起動

この連載では、フリーのVM環境「Cloudera Quick Start VM」を使って、ビッグデータ分析に必要な各種技術（データの取込み、非構造化データの分析、機械学習、全文検索など) を学習します。この連載を読むことで、ビッグデータ分析基盤に必要な基礎技術を学ぶことができます。第1回では、VM環境のダウンロードと起動、RDBMSからHadoopへのデータのインポート、Hadoop上でのテーブル... 続きを読む

blogサービスの全文検索の話 - #groonga を囲む夕べ

2014/11/29 125 users groonga 夕べ Blogサービス

Creating A Blog In Blogger Woodrow Wilson High School 966 views Blogging In A Managed Environment Cetis, University of Bolton 1,846 views 続きを読む

RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った - ブログのおんがえし

2013/12/22 107 users Array おんがえし rroonga Ruby イン

2013-12-22 RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った ruby rroonga groonga web Ruby Advent Calendar 22日目の記事です RroongaというRubyで使える全文検索エンジンがあって愛用しているのですが、使う前の準備でカラム指定やデータ型を指定したり、全文検索のためのイン... 続きを読む

Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura

2013/10/20 175 users laysakura CPANモジュール Mecab perl

2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール，Search::Fulltext をリリースしました． これ単品だと英語での全文検索ができるのですが，これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります． ここ... 続きを読む

Markdownにも対応した国産オンラインメモ帳サービス『Wri.pe』 | Black Everyday Company

2013/08/31 157 users iPhone Markdown マッピング 増井雄一郎氏 要件

2013年8月31日土曜日 Markdownにも対応した国産オンラインメモ帳サービス『Wri.pe』 『Wri.pe』は、増井雄一郎氏が作ったオンラインメモ帳サービス 個人でメモ帳アプリ wri.pe リリースしてみました。にかかれていた要件は下記の通り markdownをサポート gmailの様なアーカイブ機能 全文検索 カレンダーへのマッピング iPhone / iPadをサポート キーボード... 続きを読む

第5回　Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介：隔週連載groonga｜gihyo.jp … 技術評論社

2013/06/04 108 users groonga Milkode rroonga Ruby 事例

隔週連載groonga 第5回　Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介 2013年6月4日 須藤功平 Ruby, groonga, rroonga, 全文検索 この記事を読むのに必要な時間：およそ 6 分 1 2 3 前回のMilkodeでの事例紹介では，Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エン... 続きを読む

個人でメモ帳アプリ wri.pe リリースしてみました。 - @masuidrive blog

2013/06/03 233 users wri.pe masuidrive blog メモ帳アプリ

この1年間、ミイルとMobiRubyをコツコツと作っていて、個人としてWebサービス的なものを全く作っていなかったので、 気分転換 とRails4 + Ruby2.0のテストを兼ねて自分用に メモ帳サービス を作って wri.peとして公開しました。 私が使いたいメモ帳の要件は、こんな感じでした。 markdownをサポート gmailの様なアーカイブ機能 全文検索 カレンダーへのマッピング iP... 続きを読む

第3回　すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介：隔週連載groonga｜gihyo.jp … 技術評論社

2013/05/07 126 users mroonga groonga 隔週連載groonga 事例

隔週連載groonga 第3回　すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介 2013年5月7日 須藤功平 mroonga, groonga, MySQL, 全文検索 この記事を読むのに必要な時間：およそ 4.5 分 1 2 前回の地価マップでの事例紹介では，Ruby on Railsからgroongaとmroongaを使って位置情報検索をした事例を紹介しました。Ac... 続きを読む

第1回　全文検索エンジンgroongaを紹介します！：隔週連載groonga｜gihyo.jp … 技術評論社

2013/04/02 126 users 隔週連載groonga 全文検索エンジンgroonga

隔週連載groonga 第1回　全文検索エンジンgroongaを紹介します！ 2013年4月2日 Haruka Yoshihara groonga, 検索エンジン, 全文検索 この記事を読むのに必要な時間：およそ 3 分 1 2 今回から始まった隔週連載groongaでは，groongaを使いたくなるような情報を隔週毎にお届けします。 groongaとはGitHubで公開されているオープンソースの... 続きを読む

EvernoteでエロゲのスクリーンショットをOCRして全文検索 - 偏読日記@はてな

2011/10/30 158 users ノベルゲーム Evernote game 台詞 没頭

雑記, game, pc エロゲ/ギャルゲプレイ中の「画面キャプチャ」のススメ（その２） - 偏読日記@はてな この記事で書いたとおり、俺はPCでプレイするノベルゲーム（エロゲ/ギャルゲ）のプレイ中にスクリーンショットを保存することによりシーンや台詞を保存してあとから見返すのに使っています。ゲームへの没頭を妨げることなくPrintScreenキー一つで気軽に保存できるので、プレイ中の記録を取るのに... 続きを読む

groonga - InnoDB純正の全文検索エンジンInnoDB FTS

2011/07/28 134 users groonga InnoDB mroonga MySQL 製品

InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもI... 続きを読む

苦しんで覚えるC言語

2010/03/14 2304 users 前書き 右下 体系 矢印キー 標準ライブラリ

［全ページ目次］ 苦しんで覚えるＣ言語(苦Ｃ)は、初心者を対象としたＣ言語入門サイトです。 C言語の基本機能を体系立てて解説しており、市販書籍と同等以上の完成度です。 初めての人は 前書き から読み始めて下さい。 キーボードの矢印キーか、右下の進む>で次のページに移動します。 学習用Ｃ言語開発環境：基礎編：応用編：標準ライブラリ：学習用Ｃ言語開発環境最新版 全文検索：ダウンロード版：苦Ｃアンケート... 続きを読む

Evernoteに記憶を自動保存する方法 - RyoAnna’s iPhone Blog

2010/01/26 1952 users Evernote マメ グリップ 記憶 タグ

Evernote使えてますか？ ものぐさな私はEvernoteをあまり使っていません。記事や写真をマメにクリップしたり、タグで細かく管理するのが面倒なのです。何となく便利そうだけど使い方が分からないEvernote。同じような思いを持っている方は多いのではないでしょうか。ただ、Evernoteには全文検索という魅力的な機能があります。全文検索とはEvernoteに保存したクリップのタイトルだけでは... 続きを読む

MySQL InnoDBだけで全文検索 - SH2の日記

2009/12/05 463 users MySQL InnoDB SH2 日記

実験エントリです。予習してみる「転置インデックス」というキーワードで検索して、しばらく勉強してみます。転置インデックス - Wikipediamixi Engineers’ Blog » 転置インデックスを実装しようASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？[を] 転置インデックスによる検索システムを作ってみよう！転置インデックスで学ぶ検索... 続きを読む

簡単なWebサーチエンジンの作り方 - 加藤 和彦のブログ

2009/12/02 365 users Java 和彦 プログラミング 筑波大学 実験

筑波大学は3学期制で，12月1日から3学期が始まりました．3学期には私が担当している学類生（普通の大学の学部生）3年生向けの実験があります．約3ヶ月を掛けて，ほどほどの規模のプログラム作成を行います．私が作り，担当しているプログラム実験は「Webサーチエンジン」．この実験，結構，自信作なんです．Javaの基本的なプログラミングができることだけを仮定して，漏れのない全文検索を行うWebサーエンジンを... 続きを読む

Open database life: MyISAMとInnoDBのどちらを使うべきか

2009/10/27 647 users InnoDB Sphinx Twitter MyISAM 欠点

2009年10月27日火曜日 MyISAMとInnoDBのどちらを使うべきか Twitterで話題になってたので簡単にまとめました。 ●MyISAMにしか無い機能を使いたい場合はMyISAMを使うしかない ・全文検索 (TritonnやSphinx) ・GIS ●InnoDBの利点(MyISAMの欠点) ▲障害対応系 ・クラッシュしても再起動するだけでリカバリができる ・クラッシュリカバリにかかる... 続きを読む