統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログ

2018/12/23 122 users 大部分 大学院 横須賀 機械学習 学習理論

今回は機械学習でよく出てくる正則化の数理的基礎についてまとめたいと思います． ちょっと数理的なお話が多くなりますが， 大学院に居たときも今の職場で話しているときにも，この辺の事を理解している人は意外と多くないのかなと思ったので， 記事にしてみました． なお，本記事の内容の大部分は 金森敬文. (2015). 統... 続きを読む

Rでスパースモデリング：Elastic Net回帰についてまとめてみる - データサイエンティスト(仮)

2017/11/19 48 users スパースモデリング データサイエンティスト 強い相関 手法

2017 - 11 - 18 Rでスパースモデリング：Elastic Net回帰についてまとめてみる R スパースモデリング 導入 回帰モデル構築の際、汎化性能を向上させるために 正則化 の手法がたびたび用いられます。これは、考えているデータ数に対して特徴量の数が非常に多い場合や、特徴量間に強い相関（多重共線性）がある場合に有効な方法となっています。このような場合に、通常の回帰モデル構築の際に用い... 続きを読む

機械学習と深層学習の数理

2016/05/12 262 users 数理 Ryobot Twitter ac.jp CNN

機械学習と深層学習の数理 1. 中村 良 慶應義塾大学 青山敦研究室 学部4年 s13642rn sfc.keio.ac.jp　　　Twitter@_Ryobot 機械学習と深層学習の数理 @ 2. ・誤差逆伝播法 ・損失関数と活性化関数 ・重回帰モデル（最小二乗法，最尤推定法） ・正則化（Ridge，Lasso） ・CNN（Convolutional Neural Network） ・ホップフィ... 続きを読む

劣微分を用いた最適化手法について(5) : Preferred Research

2011/02/04 12 users Preferred Research 正則 徳永 最適化手法

もう2月ですが、新年明けましておめでとうございます。徳永です。残り11ヶ月、頑張ってまいりましょう。前回までで、劣微分を使った最適化手法として劣勾配法やFOBOS, Truncated Gradientを紹介しました。更新式を見るとわかるのですが、FOBOS/Truncated Gradientでは、前半でよく出現する要素に対して厳しく正則化がかかる一方、後半でよく出現する要素に対してはあまり正則... 続きを読む