GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users gpt-3 ディープラーニングブログ 衝撃 OpenAI 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む

GPTの仕組みと限界についての考察（１） - conceptualization

2023/03/21 1330 users GPT conceptualization chatgpt

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 ... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users GPT attention chatgpt 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

GPTの仕組みと限界についての考察（2.1） - conceptualization

2023/03/27 480 users GPT conceptualization 考察 限界 能力

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性... 続きを読む

30分で完全理解するTransformerの世界

2023/02/14 418 users 世界 30分

はじめに 初めまして。ZENKIGENデータサイエンスチームの清水です。正式な所属はDeNAデータ本部AI技術開発部なのですが、業務委託という形で今年度から主に深層学習系の開発に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻... 続きを読む

(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門

2023/02/26 413 users chatgpt Self-Attention 数式 順序 要素

(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ... 続きを読む

｢ChatGPT｣に浮かれる人が知らない恐ろしい未来

2023/03/04 393 users chatgpt 梅谷秀司 Bing 恐ろしい未来 生成AI

新井紀子氏はChatGPTの爆発的な人気に潜む危うさを語った（写真：梅谷秀司、ChatGPTのログイン画像キャプチャ） 2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z

2024/04/06 289 users shi3z 実行 衝撃 えーーー えーー

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む

AI 時代のコードの書き方, あるいは Copilot に優しくするプロンプターになる方法

2023/06/15 282 users COPILOT バックプロパゲーション プロンプター 実装

Copilot をオープンベータ直後から長く使っていて、また補助的に ChatGPT も使いながらコードを書いていて、なんとなくコツがわかるようになってきた。 自分は生成モデルのことは表面的な理解しかしてない。雑にバックプロパゲーションの実装の写経したり、Transformer の解説とかは読んだが、にわかの域を出ていない。 ... 続きを読む

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

2024/04/16 235 users attention chatgpt アテンション 数々 ｗｗ

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://ww... 続きを読む

225行のコードでGPTの仕組みを理解する

2023/08/27 187 users GPT コーパス chatgpt コード 単語

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下... 続きを読む

数式を使わないTransformerの解説（前編） - conceptualization

2023/03/21 171 users DNN Midjourney 主旨 DALL-E 数式

最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研... 続きを読む

DiffusionによるText2Imageの系譜と生成画像が動き出すまで

2023/03/01 168 users Diffusion エヌ 生成画像 Last update

Transcript DiffusionによるText2Imageの 系譜と生成画像が動き出すまで 清水 遼平 株式会社ディー・エヌ・エー Oct 13, 2022 first edition Feb 28, 2023 last update 清水 遼平 ❖ DeNA 22新卒 データ本部AI技術開発部在籍。ZENKIGENで業務委託。 最近『30分で完全理解するTransformerの世界』という記事を書きました。 ... 続きを読む

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

2023/10/21 167 users 論議 時系列予測 データサイエンティスト 高橋 渋谷駅前

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twit... 続きを読む

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita

2023/02/18 163 users クローリング Qiita DLsite 推論 Slack通知

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをも... 続きを読む

ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森

2023/02/20 132 users deeplearning 知見 昨今 グラフ理論 処理

昨今のDeepLearningの研究を席巻するTransformerの解説は複雑なものが多く、なかなか直感的に理解するのは難しいです。そこで当記事では「グラフ理論」や「ネットワーク分析」の知見を元に直感的にTransformerを理解できるように取りまとめを行いました。 概要 Transformerの解説などには難しいものが多いですが、基本的... 続きを読む

ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2023/05/01 79 users need Bridge ジェネレーティブAI ブリッジ 論文

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is ... 続きを読む

より高い品質の翻訳を実現するGoogleの「Transformer」がRNNやCNNをしのぐレベルに - GIGAZINE

2017/09/01 75 users リカレントニューラルネットワーク RNN GIGAZINE

ニューラルネットワークの中でも リカレントニューラルネットワーク (RNN)は、言語モデリングや機械翻訳、質疑応答といった言語理解タスクに対する主要なアプローチ方法と見なされています。そんな中、GoogleがRNNよりも言語理解タスクに秀でた新しいニューラルネットワークアーキテクチャ「 Transformer 」を開発しています。 Research Blog: Transformer: A Nov... 続きを読む

ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」

2023/05/20 28 users attention chatgpt 対話型AI 基礎 可視化

ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogle... 続きを読む

Google、小説を全て処理できるAI翻訳「Reformer」発表 | AMP[アンプ] - ビジネスインスピレーションメディア

2020/01/23 22 users Reformer AMP アンプ AI翻訳 小説

Googleが、従来のAI翻訳「Transformer」より、さらに長い文脈を理解できるAI翻訳「Reformer」を発表した。 Reformerは、現在機械翻訳において主流となっているAIモデルTransformerのシステムの課題であるメモリ消費と長文の翻訳精度の問題を解決し、100万ワードの文章を翻訳することが可能になった新しいAIモデル。 また... 続きを読む

Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表

2023/05/25 21 users Meta Bard 生成AI 既存 アーキテクチャ

MetaのAI研究チームが、100万トークンを超えるテキストや画像、オーディオ形式などのコンテンツを生成できる可能性を持つ「Megabyte(メガバイト)」のアーキテクチャを提唱しました。GPT-4やBardなどのAIモデルの基盤となっているアーキテクチャは「Transformer」ですが、MegabyteをAIモデルに採用することで、より高度で... 続きを読む

仕事用にTransformer/BERTの情報をまとめる

2022/06/26 21 users Bert 仕事用

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 最近、『... 続きを読む

トルコ首都の交差点にロボット像、お騒がせ市長が設置　写真6枚　国際ニュース：AFPBB News

2015/04/05 21 users トルコ首都 AFPBB News ロボット像 交差点 設置

1/6 前へ次へ 写真拡大 ▲ キャプション表示 ×トルコの首都アンカラの中心部に設置されたロボット像（2015年4月2日撮影）。(c)AFP/ADEM ALTAN 【メディア・報道関係・法人の方】写真購入のお問合せはこちら 【4月5日 AFP】トルコの首都アンカラ（Ankara）に2日、「トランスフォーマー（Transformer）」のような大型の像が出現した。市民の間では手の込んだエープリルフ... 続きを読む

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

2021/01/05 20 users OpenAI ディープラーニングブログ 変数 gpt-3 単体

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるか... 続きを読む