ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELUと性能比較してみたら。単純なCNNでMINIST精度 99.43%が出た - Qiita

2024/04/30 7 users Qiita ニューラルネットワーク CNN 誤差 出力

ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELUと性能比較してみたら。単純なCNNでMINIST精度 99.43%が出たDeepLearningPyTorch活性化関数誤差逆伝播法ED法 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差... 続きを読む

会社組織に起こる課題をニューラルネットワークで例える｜amachino

2023/05/13 8 users ニューラルネットワーク バックプロパゲーション 課題 役割

GPT-4 と面白い対話ができたので記録。 Q1. 誤差逆伝播法の問題点を列挙してください。誤差逆伝播法（バックプロパゲーション）は、ニューラルネットワークの学習において重要な役割を果たしていますが、いくつかの問題点が指摘されています。以下に6つの問題点を列挙します。 勾配消失問題（Vanishing Gradient Problem... 続きを読む

ゼロから作るDeep Learningで素人がつまずいたことメモ:5章 - Qiita

2020/01/19 34 users Qiita ニューラル Deep learning メモ 素人

はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」の5章で私がつまずいたことのメモです。 実行環境はmacOS Mojave + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 5章 誤差逆伝播法 この章は、ニューラル... 続きを読む

ディープラーニングのための線形代数入門：一般的演算の初学者向けガイド | プログラミング | POSTD

2017/05/17 162 users POSTD 概念 演算 前提知識 ディープラーニング

Jeremy Howardによるディープラーニングの素晴らしいコースを受講している間、自分の前提知識がさびついてきているせいで、誤差逆伝播法のような概念が理解しにくくなっていることを認識しました。本記事では、ディープラーニングでよく使われる線形代数演算のいくつかについて、ごく基本的な事項をざっとご紹介します。Jeremy Howardによる ディープラーニングの素晴らしいコース を受講している間、... 続きを読む

O'Reilly Japan - ゼロから作るDeep Learning

2016/09/09 494 users O'Reilly Japan Deep learning

ディープラーニングの本格的な入門書。外部のライブラリに頼らずに、Python 3によってゼロからディープラーニングを作ることで、ディープラーニングの原理を楽しく学びます。ディープラーニングやニューラルネットワークの基礎だけでなく、誤差逆伝播法や畳み込みニューラルネットワークなども実装レベルで理解できます。ハイパーパラメータの決め方や重みの初期値といった実践的なテクニック、Batch Normali... 続きを読む

機械学習と深層学習の数理

2016/05/12 262 users 数理 Twitter Ryobot ac.jp CNN

機械学習と深層学習の数理 1. 中村 良 慶應義塾大学 青山敦研究室 学部4年 s13642rn sfc.keio.ac.jp　　　Twitter@_Ryobot 機械学習と深層学習の数理 @ 2. ・誤差逆伝播法 ・損失関数と活性化関数 ・重回帰モデル（最小二乗法，最尤推定法） ・正則化（Ridge，Lasso） ・CNN（Convolutional Neural Network） ・ホップフィ... 続きを読む

Deep Learning のフレームワーク Chainer を公開しました | Preferred Research

2015/06/09 555 users Preferred Research ニューラルネット

こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持ってい... 続きを読む