『Winny』の金子勇さんの失われたED法を求めて - Qiita

2024/04/16 299 users Qiita メカニ 金子勇さん ED法 劇中

はじめに 今更ですが映画『winney』を見ました。 劇中で、金子勇さんのセリフにED法という聞いたことのないアルゴリズムが登場しました。 『このNekoFightにはAIを搭載しています。AIの方式は単なる3層ニューラルネットで、学習アルゴリズムは私独自のED法です。 ED法は、バックプロパゲーションが実際の神経系のメカニ... 続きを読む

AI 時代のコードの書き方, あるいは Copilot に優しくするプロンプターになる方法

2023/06/15 282 users COPILOT Transformer プロンプター 実装

Copilot をオープンベータ直後から長く使っていて、また補助的に ChatGPT も使いながらコードを書いていて、なんとなくコツがわかるようになってきた。 自分は生成モデルのことは表面的な理解しかしてない。雑にバックプロパゲーションの実装の写経したり、Transformer の解説とかは読んだが、にわかの域を出ていない。 ... 続きを読む

計算グラフの微積分：バックプロパゲーションを理解する | コンピュータサイエンス | POSTD

2016/02/02 118 users POSTD ニューラルネットワーク 微積分 アルゴリズム 原理

バックプロパゲーションとは、ディープモデルの学習を計算可能にしてくれる重要なアルゴリズムです。この原理を、計算グラフを利用して理解していきましょう。はじめに バックプロパゲーションとは、ディープモデルの学習を計算可能にしてくれる重要なアルゴリズムです。現代のニューラルネットワークでは、最急降下法という計算法を使えば単純な実装と比べて1000万倍の速さで学習ができます。例えば、最急降下法では学習に1... 続きを読む

Rubyでバックプロパゲーションによる学習に入門してみる - Qiita

2015/12/20 23 users ニューラルネットワーク Qiita Ruby 箇所 機械学習

Rubyでニューラルネットワークを使った学習をするバックプロパゲーションのプログラムを試してみたいと思い立ったので記事にメモしておきます。 今回の記事では、その準備ということでまずバックプロパゲーションが何なのかということから振り返ってみたいと思います。 機械学習に関しては勉強を始めたばかりなので、理解が行き届いてない箇所や勘違いしている部分などたくさんあると思いますので教えてくださいますと幸いで... 続きを読む

会社組織に起こる課題をニューラルネットワークで例える｜amachino

2023/05/13 8 users ニューラルネットワーク 課題 GPT-4 会社組織 役割

GPT-4 と面白い対話ができたので記録。 Q1. 誤差逆伝播法の問題点を列挙してください。誤差逆伝播法（バックプロパゲーション）は、ニューラルネットワークの学習において重要な役割を果たしていますが、いくつかの問題点が指摘されています。以下に6つの問題点を列挙します。 勾配消失問題（Vanishing Gradient Problem... 続きを読む