タグ 学習率
人気順 5 users 10 users 100 users 500 users 1000 users(1 - 1 / 1件)
unnonouno: AdaGradが12倍速くなる魔法
2014/08/06
59 users
unnonouno
亜種
勾配
平方根
勾配法
2014年8月6日水曜日 AdaGradが12倍速くなる魔法 AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic... 続きを読む
(1 - 1 / 1件)