OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

2021/01/05 20 users OpenAI Transformer 変数 gpt-3 単体

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるか... 続きを読む

いつでもLOUPE:凡人と天才の差は二乗則かべき乗則か階乗則か

2012/09/22 71 users 池谷裕二 海馬 凡人 曲線 対談

2011年08月11日 凡人と天才の差は二乗則かべき乗則か階乗則か 楢　水明子(13期風)問題点は？ 　池谷裕二と糸井重里の対談をまとめた「海馬」[1]を読むと図1が出てくる。経験もしくは努力の積み重ねによって、記憶というものは1・2・4・8・16・32・・・というように倍々曲線で増えていくものであるという。すなわち2のべき乗則である。 　曲線の下の方にいる凡人から見ると天才は雲の上にいるように見... 続きを読む