技術の鍵は「トランスフォーマー」と「自己教師あり学習」　松尾豊氏が、第3次AIブームからひもとく“AIの歴史”

2023/07/26 6 users トランスフォーマー 松尾豊氏 LLM 学習 歴史

日本CTO協会が主催の「Developer eXperience Day 2023」は、“開発者体験” をテーマに、その知見・経験の共有とそれに関わる方々のコミュニケーションを目的としたカンファレンスです。ここで登壇したのは、東京大学の教授である松尾豊氏。LLMの技術的な概要について解説するとともに、今後の技術的な進展について発表し... 続きを読む

統計数理シンポジウム 生成モデル 岡野原

2023/05/26 21 users 岡野原 生成モデル アジェンダ 岩波書店 中核

株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連... 続きを読む

Meta、4000言語の話し言葉を理解する多言語LLM「MMS」をオープンソース化

2023/05/23 8 users Meta MMS 話し言葉 米Meta ラベル

米Metaは5月22日（現地時間）、4000以上の音声言語を識別できる多言語大規模言語モデル「Massively Multilingual Speech」（MMS）のモデルとを研究コミュニティにオープンソースで公開したと発表した。 MMSプロジェクトでは、自己教師あり学習モデルの「wav2vec 2.0」、1100以上のラベル付き言語データ、約4000のラベル... 続きを読む

脱・人力アノテーション！自己教師あり学習による事前学習手法と自動運転への応用

2023/01/20 22 users 応用 学習 自動運転

こんにちは、TURING株式会社（チューリング）でインターンをしている、東大大学院修士一年の舘野です。 TURINGは完全自動運転EVを開発しているベンチャー企業です。 完全自動運転を実現するには、車の周りの環境をセンシングし認識するシステムが不可欠です。センシングのためのセンサーは様々考えられますが、TURINGで... 続きを読む

10億枚以上のInstagramに投稿された写真を用いて学習した画像認識モデル「SEER」をFacebookが発表 - GIGAZINE

2021/03/05 7 users GIGAZINE Instagram Facebook 学習

Facebookが、Instagramに投稿された10億枚以上の画像を用いて学習した画像認識モデル「SEER」を、2021年3月2日に発表しました。また、SEERの開発に用いられた「自己教師あり学習」を可能にするライブラリ「VISSL」も同時に公開されています。 [2103.01988] Self-supervised Pretraining of Visual Features in the Wild ... 続きを読む

2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita

2020/12/01 11 users Qiita ラベル SSL 手法 教師

2020年に大きく盛り上がりを見せた分野に自己教師あり学習(=Self-Supervised Learning(SSL))があります。SSLとは名前の通り自分で教師を用意するような手法で、データ自身から独自のラベルを機械的に作り画像の表現を学ばせるようなタスクです。なので、人間によるラベルは用いません。 最近の画像認識では特に大量のデ... 続きを読む

【異常検知】深層距離学習で画像の歪みを検出する - Qiita

2020/01/08 6 users 精度 異常検知 ディープラーニング アプローチ 正常データ

ディープラーニングを使った画像の異常検知について、研究が盛んに行われています。 工業製品を対象に、正常データのみを使って異常品を検出するアプローチとしては、 今のところ、@daisukelab　さんの自己教師あり学習が一番有力です。こちらの研究では、 課題として、一部の画像で精度が伸び悩み、異常クラスのデータ... 続きを読む