確率的勾配法のはなし - Speaker Deck

2019/04/17 71 users Speaker Deck はなし

All slide content and descriptions are owned by their creators. 続きを読む

勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita

2018/02/12 84 users 近傍 Qiita スペ tl;dr 力学系

TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？　いや，そもそも鞍点近傍に留まらないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべ... 続きを読む

ディープラーニングによる 自然言語処理 (技術編)

2016/07/01 108 users ディープラーニング 坪井 言語処理 技術編 誤差

名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に... 続きを読む

unnonouno: AdaGradが12倍速くなる魔法

2014/08/06 59 users unnonouno 亜種 勾配 平方根 魔法

2014年8月6日水曜日 AdaGradが12倍速くなる魔法 AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic... 続きを読む