ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」

2023/05/20 28 users attention chatgpt Transformer

ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogle... 続きを読む

(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門

2023/02/26 413 users Transformer chatgpt 数式 プログラマ 順序

(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ... 続きを読む