似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

2024/03/17 63 users ベクトル 文書 ベクトル化 コード 用語説明

はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容... 続きを読む

Google、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版に。ローカルで実行できるソフトウェア版も提供

2024/03/06 19 users AlloyDB PostgreSQL互換 データベース 提供

Google Cloudは、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版を提供開始した。データベースのデータをリアルタイムにAIに反映できる高速なベクトル検索などが可能だ。 Google Cloudは、PostgreSQL互換のデータベース「AlloyDB」にAI機能を組み込んだ新機能「AlloyDB AI」が正式版となったことを発... 続きを読む

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

2023/12/08 172 users プロトタイピング Amazon Bedrock 全文検索

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく... 続きを読む

SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏

2023/06/07 96 users SQLite ベクトルデータ mah_lab 西見 公宏

SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベ... 続きを読む

自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox

2023/03/08 280 users chatgpt OpenAI Scrapbox プロンプト

ChatGPTに対する質問がこのScrapboxを参照するようにした ScrapboxのデータからOpenAI APIで埋め込みベクトルを作る クエリー文章に関連のある文書をベクトル検索で見つける その文書をChatGPT APIへのプロンプトに埋め込む Scrapboxを参照していない場合 >>> Kozanebaって何？ 回答できません。提供された情報が不十分... 続きを読む