言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users 用語辞典 法則 用語 パラメーター数 トレーニング

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

データの民主化とこれからのAI組織｜ばんくし｜note

2023/03/13 264 users バンクシ Note 民主化 LLM マルチモーダル

はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リード... 続きを読む