コサイン類似度とは？　新しい検索体験を支えるベクトルDBの基本技術を押さえる

2024/08/21 124 users ベクトルDB Rag 基本技術 ベクトルデータベース 生成AI

生成AI（人工知能）のRAG（検索拡張生成）の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトルデータベースとはどのようなデータベースで、なぜ「意味」で検索できるのか。ベクトルデータベースの基本技術についてデータベースの専門家が解説する。（編集部） ベクトルデータベースは自... 続きを読む

Attentionと類似度は異なるという話

2024/08/18 9 users Transformer attention ベクトル 類似度

はじめに 「Transformerのattentionはトークン間の類似度をモデリングしている」という説明をよく聞くが、この表現は適切でないことを示す。 なお、このような説明がよくされる背景としては、Transformerのdot-product attentionは内積で計算され、コサイン類似度も正規化されたベクトルの内積で計算される点によるもの... 続きを読む

PostgreSQL Deep Dive: コサイン類似度に基づくソート処理の実装方法とその性能比較

2017/01/24 53 users ソート処理 PostgreSQL Deep Dive 単語

文書の類似度を計算する方法に「コサイン類似度」を用いる方法があります。 これは、出現する単語を出現回数などで数値化して、空間ベクトルに変換した上でベクトル同士の類似度を計算する、という手法です。 コサイン類似度 http://www.cse.kyoto-su.ac.jp/~g0846020/keywords/cosinSimilarity.html 最近、このコサイン類似度を使って、似ているデータ... 続きを読む