Pineconeでハイブリッド検索／リランクは検索精度にどのように寄与するか？ - Taste of Tech Topics

2024/11/20 11 users Pinecone 肌寒さ ハイブリッド検索 木介 概要

はじめに こんにちは、データ分析エンジニアの木介です。 秋も深まり、肌寒さを感じる季節となりましたが、皆様いかがお過ごしでしょうか。 今回はPineconeを使ったハイブリッド検索とリランクについて紹介していきます。 はじめに 概要 1. Pineconeとは 2. ベクトル検索とは 3. リランクとは 4. ハイブリッド検索とは P... 続きを読む

GraphRAGを使った生成AIチャットアプリを作ってみた - Qiita

2024/10/05 39 users Qiita GraphRAG Rag ノート エッジ

RAGの精度向上に有効な施策としてGraphRAGという手法があります。 インプットされた文章をノードとエッジと呼ばれる要素に分解し、ノード間の関係性をグラフデータとして表現する手法になります。 例えば文章中に出てくる人物をノードとし、人物間の関係性をエッジで表現する、といったイメージです。 ベクトル検索を使... 続きを読む

医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話

2024/09/16 136 users MySQL デフォ ベクトルDB 知見 精度

どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決でき... 続きを読む

RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics

2024/09/18 18 users Taste of Tech Topics 検証 Rag 焦点

こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交... 続きを読む

RAGの「ベクトル検索」の弱みを、ナレッジグラフで補う

2024/09/03 84 users Rag 弱み ナレッジグラフ RAGシステム 生成AI

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「HybridRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「HybridRAG」の論文[1]に... 続きを読む

ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG

2024/06/12 19 users ZOZOTOWN elasticsearch 課題 全文検索

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入... 続きを読む

似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

2024/03/17 63 users ベクトル 文書 ベクトル化 コード 用語説明

はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容... 続きを読む

Google、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版に。ローカルで実行できるソフトウェア版も提供

2024/03/06 19 users AlloyDB PostgreSQL互換 データベース 提供

Google Cloudは、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版を提供開始した。データベースのデータをリアルタイムにAIに反映できる高速なベクトル検索などが可能だ。 Google Cloudは、PostgreSQL互換のデータベース「AlloyDB」にAI機能を組み込んだ新機能「AlloyDB AI」が正式版となったことを発... 続きを読む

「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

2023/12/08 172 users プロトタイピング Amazon Bedrock 全文検索

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく... 続きを読む

SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏

2023/06/07 96 users SQLite ベクトルデータ mah_lab 西見 公宏

SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベ... 続きを読む

自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox

2023/03/08 280 users Scrapbox OpenAI chatgpt 西尾泰和 文書

ChatGPTに対する質問がこのScrapboxを参照するようにした ScrapboxのデータからOpenAI APIで埋め込みベクトルを作る クエリー文章に関連のある文書をベクトル検索で見つける その文書をChatGPT APIへのプロンプトに埋め込む Scrapboxを参照していない場合 >>> Kozanebaって何？ 回答できません。提供された情報が不十分... 続きを読む