タグ attention
人気順 5 users 50 users 100 users 500 users 1000 usersChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://ww... 続きを読む
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長(GPTが文脈を意識できる過去の単語数)」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構(そのタ... 続きを読む
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogle... 続きを読む
GPTの仕組みと限界についての考察(2.1) - conceptualization
全3回のシリーズパート2の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(本記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性... 続きを読む
オロチ(Famicom Archivist) on Twitter: "【Attention!】 ファミコンカラーが赤白の理由「当時その色のプラスチックが最も安かった説」は開発者から完全否定されています。弊ブログではデマ発生源、
【Attention!】 ファミコンカラーが赤白の理由「当時その色のプラスチックが最も安かった説」は開発者から完全否定されています。弊ブログではデマ発生源、専門家の見解、時代背景から詳しく調べています。歴史とはそういう地道な作業の… https://t.co/nQld5zMryA 続きを読む
BERTのAttentionは何を見ているのか?
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransf... 続きを読む
次世代の畳み込み?!CondConv - Qiita
はじめに 日課のarXiv論文のチェックをしていたところ、Microsoftから興味深い論文1が出ていました。 Microsoftから動的にConvの重みを変えるDynamic Convolutionの提案。重み自体を出力するのではなく、複数のConvの線型結合の係数を出力する(Attention)。実はGoogleからもCondConvという同様のアプローチが提案されて... 続きを読む
ChainerでLSTM + Attentionを計算する - Qiita
import numpy as np from chainer import Variable import chainer.functions as F import chainer.links as L ## 入力データの準備 x_list = [[0, 1, 2, 3], [4, 5, 6], [7, 8]] # 可変長データ (4, 3, 2)の長さのデータとする x_list = [np... 続きを読む
[L] 時間が足りないのではなく、MPが不足して何もできないとき | Lifehacking.jp
Ads: 「忙しすぎて、◯◯ができない」でも、本当に? Basecampの開発者のブログ、Signal v. Noiseでジェイソン・フリードさんが、時間がないことと、アテンション、つまりは注意力・関心がないこととの違いについて記事にしています。 ここで注意したいのは、attentionを「注意力」「関心」と理解してしまって、注意が足りないから、関心がないからととらえてしまうと誤解に導かれる点です... 続きを読む
CSSベースのクールなフォーム、サンプル集:phpspot開発日誌
Smashing Magazine | Blog Archive CSS-Based Forms: Modern Solutions In Web 2.0 registration and feedback forms can be found everywhere. Every start-up tries to attract visitors’ attention, CSSベースのクールなフ... 続きを読む