確率的勾配法のはなし - Speaker Deck

2019/04/17 71 users Speaker Deck はなし

All slide content and descriptions are owned by their creators. 続きを読む

勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita

2018/02/12 84 users 近傍 Qiita スペ tl;dr 力学系

TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？　いや，そもそも鞍点近傍に留まらないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべ... 続きを読む

ディープラーニングによる 自然言語処理 (技術編)

2016/07/01 108 users ディープラーニング 坪井 言語処理 技術編 誤差

名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に... 続きを読む

unnonouno: AdaGradが12倍速くなる魔法

2014/08/06 59 users unnonouno 亜種 勾配 平方根 魔法

2014年8月6日水曜日 AdaGradが12倍速くなる魔法 AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic... 続きを読む

SVMのマージン最大化についてしつこく考えてみる - 射撃しつつ前転

2011/04/30 36 users SVM 前転 マージン ギャップ 実装

SVMの説明というと、よく出てくるのはマージンの最大化である。しかし、実装を行う場合には、どちらかというと目的関数をどうやって最小化しようかな、というところの方が重要（注：主形式を勾配法で最適化する場合の話です）で、この間にある微妙なギャップを超えるのは微妙ながらも大変なような気がしている。このギャップをどうやったら埋められるのかというところを考えてみたい。考えながら書いてきちんと推敲しておりませ... 続きを読む