中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 ニューラルネットワーク 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

JVNVU#99619336: 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

2020/03/25 20 users 識別 機械学習モデル 分類 攻撃対象 モデル

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能です。これは、Kumar et al. による攻撃分類では、perturbation attacks や adversarial examples in the physical domain に該当します。 攻撃対象のシステムに対して、攻撃者がデータの... 続きを読む

�【2020決定版�】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita

2019/12/30 22 users Qiita Problem Adam Optimizer 数式

Help us understand the problem. What is going on with this article? 【2020決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAd... 続きを読む

Pythonで理解するディープラーニング入門 - Speaker Deck

2019/10/10 331 users Python Speaker Deck コーディング 題材

ディープラーニングの仕組みを理解するための一番のポイントは「損失関数」と「勾配降下法」の考え方です。本講演では、線形回帰モデルを題材に、この2つの考え方についてPythonのコーディングも含めた形で説明します。講演者の著作「最短コースでわかるディープラーニングの数学」からエッセンスをお届けします。 続きを読む

勾配降下法の最適化アルゴリズムを概観する | コンピュータサイエンス | POSTD

2016/12/09 595 users ニューラルネットワーク POSTD 洞察 アルゴリズム 目次

勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネットワークを最適化するのに最も一般的な方法でした。このブログの投稿では、実際にアルゴリズムを実行する際の助けとなるよう、勾配降下法を最適化する異なったアルゴリズムの動作についての洞察をしてみたいと思います。(編注：2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな... 続きを読む

勾配降下法の最適化アルゴリズムを概観する | コンピュータサイエンス | POSTD

2016/07/27 595 users ニューラルネットワーク POSTD 洞察 アルゴリズム 目次

勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネットワークを最適化するのに最も一般的な方法でした。このブログの投稿では、実際にアルゴリズムを実行する際の助けとなるよう、勾配降下法を最適化する異なったアルゴリズムの動作についての洞察をしてみたいと思います。目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最... 続きを読む

共役勾配法によるロジスティック回帰のパラメータ推定 - 人工知能に関する断創録

2014/04/15 32 users ロジスティック回帰 人工知能 PRML 断創録 共役勾配法

2014-04-15 共役勾配法によるロジスティック回帰のパラメータ推定 PRML 機械学習 Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配... 続きを読む

確率的勾配降下法+α の話をしました - kisa12012の日記

2013/10/18 41 users kisa12012 PFI SGD 日記 PFIセミナー

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装して... 続きを読む

SGD+α: 確率的勾配降下法の現在と未来

2013/10/18 51 users SGD 大岩 秀和 PFIセミナー kisa12012

SGD+α: 確率的勾配降下法の現在と未来 Presentation Transcript 2013/10/17 PFIセミナー SGD+α 確率的勾配降下法の現在と未来 東京大学 情報理工学系研究科 大岩 秀和 / @kisa12012 自己紹介 •大岩 秀和 (a.k.a. @kisa12012) •所属: 東大 数理情報 D2 (中川研) •研究: 機械学習・言語処理 •オンライン学習/確率... 続きを読む