【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT attention 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む