ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

2024/04/16 235 users attention chatgpt アテンション 数々 ｗｗ

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://ww... 続きを読む

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z

2024/04/06 289 users shi3z 実行 衝撃 えーーー えーー

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

2023/10/21 167 users 論議 時系列予測 データサイエンティスト 高橋 渋谷駅前

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twit... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users GPT attention chatgpt 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

225行のコードでGPTの仕組みを理解する

2023/08/27 187 users GPT コーパス chatgpt コード 単語

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下... 続きを読む

AI 時代のコードの書き方, あるいは Copilot に優しくするプロンプターになる方法

2023/06/15 282 users COPILOT バックプロパゲーション プロンプター 実装

Copilot をオープンベータ直後から長く使っていて、また補助的に ChatGPT も使いながらコードを書いていて、なんとなくコツがわかるようになってきた。 自分は生成モデルのことは表面的な理解しかしてない。雑にバックプロパゲーションの実装の写経したり、Transformer の解説とかは読んだが、にわかの域を出ていない。 ... 続きを読む

GPTの仕組みと限界についての考察（2.1） - conceptualization

2023/03/27 480 users GPT conceptualization 考察 限界 能力

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性... 続きを読む

数式を使わないTransformerの解説（前編） - conceptualization

2023/03/21 171 users DNN Midjourney 主旨 DALL-E 数式

最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研... 続きを読む

GPTの仕組みと限界についての考察（１） - conceptualization

2023/03/21 1330 users GPT conceptualization chatgpt

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 ... 続きを読む

｢ChatGPT｣に浮かれる人が知らない恐ろしい未来

2023/03/04 393 users chatgpt 梅谷秀司 Bing 恐ろしい未来 生成AI

新井紀子氏はChatGPTの爆発的な人気に潜む危うさを語った（写真：梅谷秀司、ChatGPTのログイン画像キャプチャ） 2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer... 続きを読む

DiffusionによるText2Imageの系譜と生成画像が動き出すまで

2023/03/01 168 users Diffusion エヌ 生成画像 Last update

Transcript DiffusionによるText2Imageの 系譜と生成画像が動き出すまで 清水 遼平 株式会社ディー・エヌ・エー Oct 13, 2022 first edition Feb 28, 2023 last update 清水 遼平 ❖ DeNA 22新卒 データ本部AI技術開発部在籍。ZENKIGENで業務委託。 最近『30分で完全理解するTransformerの世界』という記事を書きました。 ... 続きを読む

(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門

2023/02/26 413 users chatgpt Self-Attention 数式 順序 要素

(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ... 続きを読む

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita

2023/02/18 163 users クローリング Qiita DLsite 推論 Slack通知

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをも... 続きを読む

ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森

2023/02/20 132 users deeplearning 知見 昨今 グラフ理論 処理

昨今のDeepLearningの研究を席巻するTransformerの解説は複雑なものが多く、なかなか直感的に理解するのは難しいです。そこで当記事では「グラフ理論」や「ネットワーク分析」の知見を元に直感的にTransformerを理解できるように取りまとめを行いました。 概要 Transformerの解説などには難しいものが多いですが、基本的... 続きを読む

30分で完全理解するTransformerの世界

2023/02/14 418 users 世界 30分

はじめに 初めまして。ZENKIGENデータサイエンスチームの清水です。正式な所属はDeNAデータ本部AI技術開発部なのですが、業務委託という形で今年度から主に深層学習系の開発に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users gpt-3 ディープラーニングブログ 衝撃 OpenAI 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む