Adam の学習係数の分散を考えた RAdam の論文を読んだよ! - nykergoto’s blog

2019/08/16 36 users SGD ヒューリスティック Adam 表題 枠組み

表題の通り噂の最適化手法 RAdam の論文を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた SGD 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数... 続きを読む

ディープラーニングによる 自然言語処理 (技術編)

2016/07/01 108 users ディープラーニング 坪井 言語処理 技術編 誤差

名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に... 続きを読む

データマイニングコンペティションサイト Kaggle にも Deep Learning ブームがきてるかと思ったのでまとめる - 糞ネット弁慶

2013/05/08 211 users Kaggle 糞ネット弁慶 Deep learning 世界

概要最近話題の Deep Learning，NIPS や ICML，CVPR といった世界の話だろうと思っていたら Kaggle で Deep learning が去年一件，今年に入って更に一件優勝していたのでまとめる． KaggleKaggle: Go from Big Data to Big Analyticsおなじみのデータマイニングコンペティションサイト．データと目的関数が与えられた上で最... 続きを読む

これを乗りきることが主眼であって最適かどうかは問題ではない - はるのあした

2012/11/01 10 users 主眼 はるのあした Twitter 最適 手法

2012-11-01 これを乗りきることが主眼であって最適かどうかは問題ではない 結構そこんとこ、履き違えそうになるんですけどね。twitterとかSNS、Webを駆使して自分の子育ての手法を最適化しようと目指すのはいいけど、最適化ってのは、目的関数を一番ぎりぎりのとこまで追い詰める作業だから、そういう極端なことばっかりネットで拾って生活に取り込んでると、別に育児に限らずなんでもそうだけど、自分が... 続きを読む

SVMのマージン最大化についてしつこく考えてみる - 射撃しつつ前転

2011/04/30 36 users SVM 前転 マージン ギャップ 実装

SVMの説明というと、よく出てくるのはマージンの最大化である。しかし、実装を行う場合には、どちらかというと目的関数をどうやって最小化しようかな、というところの方が重要（注：主形式を勾配法で最適化する場合の話です）で、この間にある微妙なギャップを超えるのは微妙ながらも大変なような気がしている。このギャップをどうやったら埋められるのかというところを考えてみたい。考えながら書いてきちんと推敲しておりませ... 続きを読む

unnonouno: Newton-CG法とは

2011/04/12 13 users CRF unnonouno おさらい マック 解説

2011年4月12日火曜日 Newton-CG法とは 先日、@sleepy_yoshiさんがCRFの目的関数の導関数を求める記事を書いていました。ここに便乗して、@yuutatさんたちとやっていたNewton-CG法について解説を書きます。・・・、と思ってたのですが引っ越してから未だにネットにつながらなくてなかなか更新できませんでした。今、マックで書いてますｗ まず、Newton法のおさらいから。... 続きを読む