Googleが開発した画像分類タスクが可能な機械学習モデル「Vision Transformers」の仕組みとは？

2024/04/20 7 users 機械学習モデル Google Transformer 時系列

Googleの機械学習モデル「Transformer」は、データを時系列に処理しなくても、自然言語などのデータを翻訳やテキスト要約することが可能で、ChatGPTなどの自然な会話が可能なチャットAIのベースとなっています。また、Transformerの手法を画像分野に応用したモデルが「Vision Transformer」です。ソフトウェアエンジニア... 続きを読む

Vision Transformerのしくみ

2021/10/13 22 users しくみ

Transcript 7JTJPO�5SBOTGPSNFSͷ͘͠Έ� ຳӜେߊɼ౻٢߂࿱ɼฏ઒ཌྷɼࢁԼོٛʢத෦େֶɾػց஌֮�ϩϘςΟΫεݚڀάϧʔϓʣ� IUUQ���NQSH�KQ w 5SBOTGPSNFSͷ͘͠Έ� � Ϟσϧͷৄࡉͳઆ໌� w 7JTJPO�5SBOTGPSNFSͷ͘͠Έ� � Ϟσϧͷৄࡉͳઆ໌� � ಈ࡞֬ೝͱ܏޲� � Ԡ༻ྫ� w 7JTJPO�5SBOTGPSNFSͱࣗݾڭࢣ͋Γֶश $POUFOUT � ίϯϐϡʔλϏδϣϯλεΫͱओཁϞσϧ Object Detection Trajectory Forecasting Vision Language Object Tracking Ne... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Transformer frac Sota AI界

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む