30分で完全理解するTransformerの世界

2023/02/14 418 users Transformer 世界 30分

はじめに 初めまして。ZENKIGENデータサイエンスチームの清水です。正式な所属はDeNAデータ本部AI技術開発部なのですが、業務委託という形で今年度から主に深層学習系の開発に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻... 続きを読む

Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる（パート１） - めもめも

2023/02/10 5 users Transformer JAX チャットシステム 論文 性能

なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャーです。 arxiv.org ここでは、JAX/Flax を用いて Transformer を実装しながら、その仕組みを解説していきま... 続きを読む

Transformerを用いてオノマトペから環境音を合成する手法をPyTorchで実装した（Transformer版 Onoma-to-Wave） - 備忘録

2022/10/10 14 users Transformer Encoder RNN オノマトペ

はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム）に変換するモデルである。RNNに基づくencoderとdecoderから... 続きを読む

著者陣の視点からVision Transformer入門の執筆の背景と書評を書きます - Seitaro Shinagawaの雑記帳

2022/09/17 6 users 書評 Seitaro Shinagawa 執筆 雑記帳 著者陣

こんにちは、品川です。Vision Transformer入門という本の執筆に参加しました。いよいよ本格的な販売がはじまります。どんな本なのか注目してくださってる方もいらっしゃると思うので、著者陣の一人の視点から執筆の背景と書評を少しだけ書こうと思います。 gihyo.jp 執筆の背景 書評 第1章 TransformerからVision Trans... 続きを読む

仕事用にTransformer/BERTの情報をまとめる

2022/06/26 21 users Transformer Bert 仕事用

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 最近、『... 続きを読む

Transformerを多層にする際の勾配消失問題と解決法について

2022/03/15 11 users Transformer 解決法

Rethinking Perturbations in Encoder-Decoders for Fast Training 続きを読む

超高精度の言語AI「GPT-3」は何がスゴい？要約、小説、コーディングなど広がる可能性

2021/12/01 15 users コーディング gpt-3 要約 言語AI 小説

GPT-3とは？文章生成で何ができるのか GPT-3は「Generative Pre-trained Transformer - 3」の略で、OpenAIが開発した事前学習済み（Pre-trained）の文章生成型（Generative）の「Transformer」、その3番目のモデルを指します。この「Transformer」というのは自然言語処理向けの深層学習モデルのことで、「畳み込みネット... 続きを読む

ポケモンGOの米Niantic、「トランスフォーマー」のARスマホゲーム発表　年内に全世界で配信へ - ITmedia NEWS

2021/06/14 18 users トランスフォーマー 米Niantic ポケモンGO 年内 配信

米Nianticは6月14日（現地時間）、スマートフォン用ARゲーム「TRANSFORMER: Heavy Metal」（トランスフォーマー：ヘビーメタル）を年内に全世界で提供すると発表した。近日中に一部地域でβ版の配信を始める。 プレイヤーは、オートボットと一緒に敵組織「ディセプティコン」と戦う「ガーディアンネットワーク」に参加。... 続きを読む

BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog

2021/03/25 15 users Transformer Bert トレンド 主要モデル 紹介

はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Mode... 続きを読む

Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad

2021/02/17 8 users Transformer 井出 物体検出 領域 時系列データ

発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特... 続きを読む

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

2021/01/05 20 users OpenAI Transformer 変数 gpt-3 単体

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるか... 続きを読む

2021年の「AI／機械学習」はこうなる！　5大予測：気になるニュース＆ネット記事 - ＠IT

2020/12/28 6 users 機械学習 ニュース＆ネット記事 Transformer 革命

自然言語処理（NLP）に革命を起こした手法「Transformer」の利用領域がさらに拡大する ディープラーニング以外の機械学習関連技術に対する認知と利用が広がる AI／機械学習の倫理問題はさらに大きくなり、データとプライバシーの規制が強化される MLOpsはさらに成長し、採用する企業が増えていく エッジAIが普及し、エッ... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users gpt-3 ディープラーニングブログ 衝撃 OpenAI 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む

End-to-End音声認識の計算量を削減した話 - Yahoo! JAPAN Tech Blog

2020/06/29 9 users Yahoo Transformer 計算量 ヤフー 藤田

こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICAS... 続きを読む

ついに出た！本当にDETR！ 物体検出の革新的なパラダイム | AI-SCHOLAR.TECH

2020/06/08 5 users パラダイム AI-SCHOLAR.TECH 物体検出 要点

3つの要点 ✔️ ついにTransformerを物体検出に応用 ✔️ End-to-endなモデルを実現し、人手による設計を削減 ✔️ 物体検出を直接的な集合予測問題として再定義 End-to-End Object Detection with Transformers written by Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zag... 続きを読む

Google、小説を全て処理できるAI翻訳「Reformer」発表 | AMP[アンプ] - ビジネスインスピレーションメディア

2020/01/23 22 users Reformer AMP Transformer アンプ 小説

Googleが、従来のAI翻訳「Transformer」より、さらに長い文脈を理解できるAI翻訳「Reformer」を発表した。 Reformerは、現在機械翻訳において主流となっているAIモデルTransformerのシステムの課題であるメモリ消費と長文の翻訳精度の問題を解決し、100万ワードの文章を翻訳することが可能になった新しいAIモデル。 また... 続きを読む

より高い品質の翻訳を実現するGoogleの「Transformer」がRNNやCNNをしのぐレベルに - GIGAZINE

2017/09/01 75 users Transformer リカレントニューラルネットワーク

ニューラルネットワークの中でも リカレントニューラルネットワーク (RNN)は、言語モデリングや機械翻訳、質疑応答といった言語理解タスクに対する主要なアプローチ方法と見なされています。そんな中、GoogleがRNNよりも言語理解タスクに秀でた新しいニューラルネットワークアーキテクチャ「 Transformer 」を開発しています。 Research Blog: Transformer: A Nov... 続きを読む

トルコ首都の交差点にロボット像、お騒がせ市長が設置　写真6枚　国際ニュース：AFPBB News

2015/04/05 21 users トルコ首都 AFPBB News ロボット像 交差点 設置

1/6 前へ次へ 写真拡大 ▲ キャプション表示 ×トルコの首都アンカラの中心部に設置されたロボット像（2015年4月2日撮影）。(c)AFP/ADEM ALTAN 【メディア・報道関係・法人の方】写真購入のお問合せはこちら 【4月5日 AFP】トルコの首都アンカラ（Ankara）に2日、「トランスフォーマー（Transformer）」のような大型の像が出現した。市民の間では手の込んだエープリルフ... 続きを読む