トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

2024/09/30 8 users トランスフォーマー

拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォー... 続きを読む

超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る

2024/06/26 47 users Transformer デコーダー エンコーダー 欠点 技術

対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ... 続きを読む

RWKVについて解説

2023/08/17 14 users RWKV Transformer アーキテクチャ 解説 手法

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

Google Colab で RWKV を試す｜npaka｜note

2023/03/27 10 users RWKV VRAM npaka｜note プレミア 節約

「Google Colab」で「RWKV」を試したので、まとめました。 【注意】「RWKV」のチャットデモを実行するには、「Google Colab Pro/Pro+」の「プレミア」が必要です。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、無限の文脈長、自由な埋め込みを実現していま... 続きを読む

Transformerを用いてオノマトペから環境音を合成する手法をPyTorchで実装した（Transformer版 Onoma-to-Wave） - 備忘録

2022/10/10 14 users Transformer Encoder decoder 手法

はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム）に変換するモデルである。RNNに基づくencoderとdecoderから... 続きを読む

AIが描きかけのおちんちんを仕上げてくれる「dick-rnn」 - GIGAZINE

2020/04/26 121 users GIGAZINE リカレントニューラルネットワーク 通り

ニューラルネットワークを用いてお絵描き途中の線からイラストを仕上げる「Sketch-RNN」のようなリカレントニューラルネットワーク(RNN)モデルとして作成された「dick-rnn」は、その名の通り「dick(おちんちん)」のイラストに特化したRNNです。 [P] I trained a recurrent neural network trained to draw dick doodles ... 続きを読む

【理論から実践まで】動かしながら学ぶ！ゼロからわかる再帰的ニューラルネットワーク（RNN） - LABOT 機械学習エンジニアブログ

2019/06/28 54 users ニューラルネットワーク LSTM Keras LABOT 理論

この記事では再帰的ニューラルネットワーク (RNN) について解説をします。RNN の理論的な説明から入り、Keras を用いて実際に RNN を動かしてみます。単純RNN (SimpleRNN), LSTM, 双方向RNN (bidirectional RNN), deep RNN を用いてモデリングをします。なおこの記事はGoogle Colaboratory で動かすことができ、実行しな... 続きを読む

O'Reilly Japan - ゼロから作るDeep Learning ❷

2018/07/05 82 users O'Reilly Japan Deep learning

コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編。第2弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vecやRNN（リカレントニューラルネットワーク）、LSTMやGRU、seq2seqやAttention……ディープラー... 続きを読む

時系列のディープラーニング、RNNのまとめとKeras実装 - プロクラシスト

2017/12/18 20 users Keras 時系列 ディープラーニング プロクラシスト 主流

2017 - 12 - 18 時系列のディープラーニング、RNNのまとめとKeras実装 スポンサーリンク データ分析ガチ勉強アドベントカレンダー 18日目。 Kerasの使い方を復習したところで、今回は 時系列データ を取り扱ってみようと思います。 時系列を取り扱うのにも ディープラーニング は用いられていて、RNN(Recurrent Neural Net)が主流。 今回は、RNNについて書い... 続きを読む

より高い品質の翻訳を実現するGoogleの「Transformer」がRNNやCNNをしのぐレベルに - GIGAZINE

2017/09/01 75 users Transformer リカレントニューラルネットワーク

ニューラルネットワークの中でも リカレントニューラルネットワーク (RNN)は、言語モデリングや機械翻訳、質疑応答といった言語理解タスクに対する主要なアプローチ方法と見なされています。そんな中、GoogleがRNNよりも言語理解タスクに秀でた新しいニューラルネットワークアーキテクチャ「 Transformer 」を開発しています。 Research Blog: Transformer: A Nov... 続きを読む

AIに架空の歴史を書かせてみた。結果．．．

2017/08/03 57 users 歴史 結果 LSTM Wikipedia 時系列

AIに文章を作らせる方法概要（LSTM） 架空の名前から架空の人物の歴史概要を作成してみました。 やり方としては、wikipediaの人物の概要の部分を抜き出してRNNにトレーニングさせます。 そのトレーニングさせたモデルに対して名前を入力すると、その人物の概要を出力してくれるようにします。 RNNとは、Recurrent Neural Networksの略で、時系列の情報を学習させるためのニュー... 続きを読む

KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) - にほんごのれんしゅう

2017/07/04 19 users れんしゅう FizzBuzz Keras ディープラーニング

2017 - 07 - 04 KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) KerasのRNNで FizzBuzz を行う(+ Epochスケジューラの提案) ディープラーニング をやるようになって半年程度経ちました ある程度の文章や画像判別モデルならば、過去の自分の資産をうまく活用することと、外部からState of the Artな手法を導入することで、様々な... 続きを読む

グーグル、手描きイラストの続きを自動描画「sketch-rnn」--ニューラルネット応用 - CNET Japan

2017/07/03 18 users sketch-rnn リカレント グーグル cat 応用事例

Googleは、ニューラルネットワーク技術の応用事例として、ユーザーが途中まで描いた絵の続きを自動的に描いて完成させてくれるサービス「sketch-rnn」を 提供開始 した。 このサービスは、リカレント（再帰型）ニューラルネットワーク（RNN）技術を利用し、ユーザーの描き始めた絵からどのように描き進めるかを推測して、ユーザーが手を止めると続きから描き始めるサービス。ただし、描く際には「cat」「... 続きを読む

RNNでプログラミング言語の構文エラーを自動修復する衝撃 - DeepAge

2017/06/14 167 users コンパイルエラー SoftW テキストエディタ 構文 最中

コンパイルエラーの問題点 DeepFix Iterative Repair まとめ 参考文献 プログラミング言語のコンパイルエラーを自動で検知して修復することができたら、プログラマの作業時間を減らせる可能性があります。もしくは、テキストエディタがプログラムを書いている最中に、エラーだろうと思われる構文を見つけたときにさり気なく教えてくれたら生産性が著しく向上することも考えられます。 “ Softw... 続きを読む

自然言語処理における畳み込みニューラルネットワークを用いたモデルのまとめ - Qiita

2017/02/03 96 users ニューラルネットワーク CNN まとめ - Qiita 進歩

はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです... 続きを読む

DeepLearning4J + Scalaで機械学習 | anopara

2017/01/03 20 users anopara Scala RBM GRu GitHub

DL4Jをバリバリ使ってる人は日本にあまり居ない？ような気がしてきたので、1か月弱くらい色々使ってみた感触などを述べてみる。 DeepLearning4Jってなんだ 公式サイト とか GitHub 見てくれ。以下DL4Jと記載。 何が出来るんだ 最近の機械学習系の大体の事は出来るような気がする。RNN（LSTM. GRUは実装中）、Word2Vec、FeedFoward、CNN、RBM（Deep ... 続きを読む

RNNにおけるDropoutの適用について - Qiita

2016/12/23 25 users Qiita dropout ノイズ タスク ディープラーニング

はじめに ディープラーニングにおけるDropoutは単純かつ強力な正則化手法として広く使われていますが、RNNの時間方向に適用するとノイズが蓄積してうまく学習できないため、入出力層にのみ適用するのが常識とされてきました[Zaremba 2014] 1 。しかし最近の研究でDropoutをベイズ的に解釈することでRNNの時間方向にもDropoutを適用でき、言語モデルのタスクで単一モデルとして最高精... 続きを読む

LSTMを超える期待の新星、QRNN - Qiita

2016/12/12 95 users Qiita LSTM 新星 CNN 期待

RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-R... 続きを読む

JavaScriptによるDeep Learningの実装（Recurrent Neural Networks 編） - Yusuke Sugomori's Blog

2016/12/07 24 users Yusuke Sugomori 実装 JavaScript

久しぶりの更新となりました。これまでいくつかの言語で、代表的なDeep Learningの手法を実装をしてきましたが、今回はリカレントニューラルネットワーク（Recurrent Neural Networks: RNN）を実装してみたいと思います。言語は、初となるJavaScriptでトライしてみました。 完成したコードはGitHubの こちら のリポジトリにまとめてあります。 また、数式は以前に... 続きを読む

Chainerを用いた"ボケる"ニューラルネットの実装 - Qiita

2016/12/01 33 users ニューラルネット Qiita Chainer 実装 二番煎じ

はじめに ボケるRNNを学習したい (Chainer meetup 01) がすごく面白かったので，自分もChainerで実装をしました．それと，訓練したモデルをブラウザから直接確認できるアプリを作りました． はじめに断っておくと，僕のやったことは基本的には元スライドの二番煎じで，差分と言えば学習データを増やして実験してみたこと（うまく学習されなかった）と，Webアプリを作ったこと程度です． 様子... 続きを読む

【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる - Qiita

2015/12/08 158 users Qiita deeplearning エヴァンゲリオン 文章

はじめに エヴァンゲリオン20周年おめでとうございます 加えて、アスカの誕生日もおめでとうございます。(4日遅れ) Twitter Bot等でも使われている、文章の自動生成を流行りのDeepLearningの1種であるリカレントニューラルネットワーク(以下:RNN)を使ってやってみました。 データ集め 何はなくともまずはデータが無いと始まりませんね。 書き起こしも覚悟してましたが、アニメ全セリフを... 続きを読む

Python - ChainerとRNNと機械翻訳 - Qiita

2015/12/05 82 users Qiita Chainer Python 機械翻訳

記事の内容はChainer1.4以前を前提としています。1.5系には様子を見て対応します。 自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neura... 続きを読む

自分のTwitterのつぶやき100万字を学習させた人工知能を作ってみた - shi3zの長文日記

2015/09/04 21 users Twitter 人工知能 shi3z 長文日記 つう

Twitterの自分の過去ログが全部とれるというので、先日のRNNに自分のTwitterを学習させてみました。　一度学習させればこの性能!えんえんと僕みたいなことをつぶやき続けます。なんとこの激案ですとりあえずつうので売りたいなら、しかも危険だ http://yfrog.com/8fzddz友人の旅の若先生から「またばわってる大政布..."　@sonomaki20 ありがとうございます。出荷確かく... 続きを読む

文字だけのRNNに自分の文章150万字を喰わせてみる - shi3zの長文日記

2015/08/31 119 users shi3z 長文日記 文字 自分

おかげ様で本を書けば売れてしまう今日このごろ。皆様いかがお過ごしでしょうか。　正直、本業の合間にブログと日経BPとWireless Wire Newsの連載と、さらにいくつかの雑誌の寄稿とかをこなすのは体力的に辛くなってきました。ワタクシも歳であります。 　原稿というのは実に不思議なものでブログはともかくとすると、他の原稿というのはとにかく文字数が必要なのです。 　この文字数というのは絶対的なユニ... 続きを読む

Chainerのptbサンプルを解説しつつ、自分の文章を深層学習させて、僕の文章っぽい文を自動生成させてみる - shi3zの長文日記

2015/07/14 37 users Chainer リカレントニューラルネットワーク 深層学習

未踏合宿中もディープラーニングを勉強しておきたかったのでとりあえずAmazon AWSのg2.xlargeサーバーをセットアップ(これが既に地獄)して、ptbサンプルを実行してみた。 　このサンプルはptb(Penn Tree Bank)をLSTM(Long Short Term Memory)を使ったリカレントニューラルネットワーク(RNN)で学習する。元の論文はこれ→http://arxiv.... 続きを読む