【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT chatgpt 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

[L] 時間が足りないのではなく、MPが不足して何もできないとき | Lifehacking.jp

2015/08/23 582 users Lifehacking.jp Ads Basecamp 時間

Ads: 「忙しすぎて、◯◯ができない」でも、本当に？ Basecampの開発者のブログ、Signal v. Noiseでジェイソン・フリードさんが、時間がないことと、アテンション、つまりは注意力・関心がないこととの違いについて記事にしています。 ここで注意したいのは、attentionを「注意力」「関心」と理解してしまって、注意が足りないから、関心がないからととらえてしまうと誤解に導かれる点です... 続きを読む