学習率の決め方 -LR range testとCyclical Learning Rate-

2018/10/15 49 users fast.ai Deep learning 手法 米国 学習

本記事について 本記事では、Deep Learningを用いた学習の要となる学習率の決め方、また学習率更新関数の決め方ご説明します。 これから説明する方法は、米国で数多の機械学習エンジニアを輩出している学習講座 fast.ai に取り入れられている手法で、その手法はDeep Learningフレームワークに導入、または導入検討されて... 続きを読む

オンライン学習器AdamをC++で実装してみた - log.saiias

2015/03/07 14 users idx SIGMA C++ 実装 for

2015-03-07 オンライン学習器AdamをC++で実装してみた 機械学習 C++ machinelearning 元論文はこちらです. 自分の実装はここに置いてあります. 1データに対する学習率の調整部分は部分は以下の通りです. (論文内の擬似コードをそのまま実装している感じです. double pred = sigma(X,i); for(int idx = 0; idx < d; idx... 続きを読む

unnonouno: AdaGradが12倍速くなる魔法

2014/08/06 59 users unnonouno 亜種 勾配 平方根 勾配法

2014年8月6日水曜日 AdaGradが12倍速くなる魔法 AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic... 続きを読む

任意の学習率の式に対する効率的なL1正則化の計算方法 : Preferred Research

2011/12/19 39 users Preferred Research 大差 テンション 途中

今回はaveraged FOBOSの導出をしてみたのでその話を書こうかと思ったのですが、導出途中に平均化劣勾配法の場合と大差ないと気付いてしまってテンションが下がってしまいました。というわけで、ちょっとネタを変えて、学習率をいい感じに減衰させながら学習するためにはどうしたらいいのか、ありがちな実装テクニックについて書いてみます。 前提知識 前提知識として最適化問題をどう解くかを知っている必要があり... 続きを読む