ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長　“蒸留”して「研ぎ澄まされたLLMに」

2024/02/07 19 users LLM 蒸留 生成AI ソフトバンク子会社 稼働

ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル（LLM）は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会（2024年3月期第3四半期）の中で明らかにした。 同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社... 続きを読む

LLM開発のためのデータエンジニアリング - Qiita

2023/12/24 10 users Qiita LLM GPU データエンジニアリング 学習

LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを... 続きを読む