画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer Sota

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

機械学習で使うベクトルや行列の微分を使った公式の導出

2018/08/22 276 users 微分 ベクトル Partial 行列 巻末

はじめに 機械学習の勉強をしていると，次のようなベクトルや行列を使った公式達を使わなければならない場面が出てくると思います．機械学習の本の巻末に書いてあることが多いと思います．(これらはPattern Recognition and Machine Learning (Bishop著, 2006)の巻末に載っている公式です) \frac{\partial}{\partial\bol... 続きを読む