Attentionと類似度は異なるという話

2024/08/18 9 users Transformer attention ベクトル 類似度

はじめに 「Transformerのattentionはトークン間の類似度をモデリングしている」という説明をよく聞くが、この表現は適切でないことを示す。 なお、このような説明がよくされる背景としては、Transformerのdot-product attentionは内積で計算され、コサイン類似度も正規化されたベクトルの内積で計算される点によるもの... 続きを読む

Ryzen 9 7950XおよびApple M1 Maxの内積計算速度について - Qiita

2023/02/03 7 users Ryzen Qiita ベクトル 演算性能 筆者

背景 最近Ryzen 9 7950xを載せたPCを作ったのですが思ったより数値計算の速度が出なかったので、よく出てくる基本的な演算性能を調べてみました。今回は巨大なベクトルの内積の計算速度を対象とします。なお筆者はHigh-performance computingの専門家ではないので以下には間違いが含まれているかもしれません。 測定対象... 続きを読む

内積の持つ表現 - Qiita

2019/04/21 197 users 保身 Qiita 数学 過程 概要

概要 この記事は数学を学んでない人が書いてます。 その事を書く理由は保身もありますが、間違ってる事とか表現が厳格ではない可能性があることを示唆します。 自分自身が内積を捉えるのに苦労したので「内積分からない人が、分かろうとした過程を残した記事」程度のものだと思ってください。 そして、その過程を通じて... 続きを読む

「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料

2015/11/21 561 users プログラマ 統計学 数学勉強会 発表資料 kenmatsu4

「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料 1. 線形代数が見えると 統計学も見える 内積 2015/11/21 第5回 プログラマのための数学勉強会 発表資料 Ken ichi Matsui (@kenmatsu4) 2. 自己紹介: @kenmatsu4 ・Facebookページ https://www.facebook.com/matsukenbook ・... 続きを読む

hagino3000's blog: iPython notebookでPRMLのグラフを再現する

2013/03/17 10 users PRML Python iPython notebook

2013-03-17 iPython notebookでPRMLのグラフを再現する 先週のPRML復々習レーンでPRML6章の図6.1がいまいち理解できなかったので、Pythonのコードで再現してみた。基底関数と特徴空間への写像の内積で定義されるカーネル関数をxでプロットした図である、左図は基底関数の一つに出てくるロジスティックシグモイド関数。 最初Excelのグラフでやってみたが、ありえない事に... 続きを読む