言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users 用語辞典 法則 用語 パラメーター数 トレーニング

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎

2023/03/31 8 users オープンAI 米OpenAI 性能向上 人工知能 規模

米OpenAI（オープンAI）が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな「謎」がある。機械学習モデルの規模（パラメーター数）や学習させたデータ量が明らかにされていないのだ。 2020年発表の「スケーリング則」がここにきて話題に オープンAIが2022年11月にリリースしたAI（人工知能）チ... 続きを読む

データの民主化とこれからのAI組織｜ばんくし｜note

2023/03/13 264 users バンクシ Note 民主化 LLM マルチモーダル

はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リード... 続きを読む