画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

Python - 【ディープラーニング】ChainerでAutoencoderを試して結果を可視化してみる。 - Qiita

2015/07/05 118 users Chainer Qiita Encode ニューラルネット

ChainerでAutoencoderを試してみる記事です。前回の記事、「【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。」の続きとなります。ディープラーニングの事前学習にも使われる技術ですね。 1.最初に AutoencoderとはAuto(自己) encode(符号化)er(器)で、データを2層のニューラルネットに通して、自分自身のデータと一致する出力がさ... 続きを読む