大規模モデルを単一GPUで効率的に学習する方法｜npaka

2023/10/02 13 users npaka LLM スループット パフォーマンス サンプル

A以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化す... 続きを読む

大規模モデルを支える分散並列学習のしくみ Part1

2023/06/20 69 users 分散並列学習

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイ... 続きを読む

GoogleはAI開発競争における防壁を持っていません！OpenAIもです！

2023/05/08 12 users 防壁 OpenAI 巨費 イラ 趣旨

１．GoogleはAI開発競争における防壁を持っていません！OpenAIもです！まとめ ・Google社内から流出したとされる文章がGoogleはOpen Sourceの取り組みからもっと学ぶべきという趣旨を主張していた ・Googleが巨費をかけた大規模モデルで苦戦していることを100ドルと130億パラメータと数週間で実現しているとの事 ・イラ... 続きを読む

データの民主化とこれからのAI組織｜ばんくし｜note

2023/03/13 264 users バンクシ Note 民主化 LLM マルチモーダル

はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リード... 続きを読む

AI、輪郭現すシンギュラリティー　大規模モデルの衝撃

2023/01/04 26 users 衝撃

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 人と自然に対話し、絵画などアートを創作し、コンピュータープログラムを書く――。膨大なデータ学習で賢くなった「基盤（ファウンデーション）モデル」呼ばれる人工知能... 続きを読む