Appleがスマホの画面を認識できるマルチモーダルLLM「Ferret-UI」を発表、SiriがiPhoneアプリのUIを理解できるようになる可能性も

2024/04/10 15 users abs arXiv Siri 未査読論文リポジトリ 論文

Appleの研究者が、スマートフォンのアプリUIを理解するために設計したマルチモーダル大規模言語モデル(MLLM)の「Ferret-UI」を開発したという論文を、未査読論文リポジトリであるarXivで公開しました。 [2404.05719] Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs https://arxiv.org/abs/2404.0571... 続きを読む

Appleの研究者、マルチモーダルLLM「MM1」の論文発表　視覚タスクではGPT-4Vに匹敵

2024/03/18 18 users moe パラメータ 混合 スケール ペア

MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タ... 続きを読む

アップルが画像生成AIツールをひっそり発表

2024/02/14 10 users アップル 画像生成AIツール mayumine 原文 指示

アップルが画像生成AIツールをひっそり発表2024.02.14 12:00 Thomas Germain・Gizmodo US ［原文］ （ mayumine ） Apple（アップル）も画像生成AI研究中。 Appleは、テキストベースの指示で写真や画像を編集するオープンソースのツールを発表しました。カリフォルニア大学サンタバーバラ校と共同で開発したもので｢MLLM-... 続きを読む