pythonで気軽にパッケージを作るのは良いという話。 - Speaker Deck

2021/06/18 199 users Python Speaker Deck atmaCup

Transcript pythonで気軽にパッケージを 作るのは良いという話。 2021/06/18 分析コンペLT会 nyk510 Hello! 山口貴大 twitter @nyker_goto atma(アートマ)株式会社 取締役 atmaCupというデータコンペを開催している会社です。 京都大学大学院 最適化数理卒 SGDが好き? Kaggle Master kaggle.com/nyk510 2 みなさんは、... 続きを読む

Adam の学習係数の分散を考えた RAdam の論文を読んだよ! - nykergoto’s blog

2019/08/16 36 users ヒューリスティック Adam 表題 枠組み 分散

表題の通り噂の最適化手法 RAdam の論文を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた SGD 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数... 続きを読む

KDD読み会2014 発表資料

2014/09/23 11 users 発表資料 パラメータ数 背景 傾向 ビッグデータ

KDD読み会2014 発表資料 Presentation Transcript Efficient Mini-batch Training for Stochastic Optimization @ KDD2014読み会 関西会場 京大石井研 M2 小山田創哲 @sotetsuk SGDと最近の傾向 ビッグデータと計算機性能の向上を背景に 膨大なパラメータ数の識別器を，大量のデータで SGD(St... 続きを読む

確率的勾配降下法+α の話をしました - kisa12012の日記

2013/10/18 41 users kisa12012 勾配降下法 PFI 日記 PFIセミナー

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装して... 続きを読む

SGD+α: 確率的勾配降下法の現在と未来

2013/10/18 51 users 大岩 秀和 PFIセミナー kisa12012 東大

SGD+α: 確率的勾配降下法の現在と未来 Presentation Transcript 2013/10/17 PFIセミナー SGD+α 確率的勾配降下法の現在と未来 東京大学 情報理工学系研究科 大岩 秀和 / @kisa12012 自己紹介 •大岩 秀和 (a.k.a. @kisa12012) •所属: 東大 数理情報 D2 (中川研) •研究: 機械学習・言語処理 •オンライン学習/確率... 続きを読む