Vision Transformerのしくみ

2021/10/13 22 users しくみ

Transcript 7JTJPO�5SBOTGPSNFSͷ͘͠Έ� ຳӜେߊɼ౻٢߂࿱ɼฏ઒ཌྷɼࢁԼོٛʢத෦େֶɾػց஌֮�ϩϘςΟΫεݚڀάϧʔϓʣ� IUUQ���NQSH�KQ w 5SBOTGPSNFSͷ͘͠Έ� � Ϟσϧͷৄࡉͳઆ໌� w 7JTJPO�5SBOTGPSNFSͷ͘͠Έ� � Ϟσϧͷৄࡉͳઆ໌� � ಈ࡞֬ೝͱ܏޲� � Ԡ༻ྫ� w 7JTJPO�5SBOTGPSNFSͱࣗݾڭࢣ͋Γֶश $POUFOUT � ίϯϐϡʔλϏδϣϯλεΫͱओཁϞσϧ Object Detection Trajectory Forecasting Vision Language Object Tracking Ne... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Transformer frac Sota AI界

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む