夏休みなのでニューラルネットワークの勉強をした - ポルノアニメ

2024/08/28 20 users ポルノアニメ 勉強 夏休み

お久しぶりです。AIが流行ってますね。AI、AI、猫も杓子もAI。ボヤボヤしてると後ろからバッサリだ。 私の普段の仕事は地理情報の可視化、というか具体的に言うとLeafletを拡張して独自のレイヤを作ったりみたいなことをやっているのですが、オフィスに（たまに）行くとAIが何だGPTがどうだという話になっており、もうそ... 続きを読む

実写の人間そっくりの動作や表情を再現できる高精度な3次元アバターを実現する技術「DEGAS」が発表される

2024/08/27 7 users 進歩 実写 精度 近年 表情

ニューラルネットワークを使って2次元のデータを3次元のイメージを生成する技術はニューラルレンダリングと呼ばれ、近年はまるで実写のように見える高精度な3Dアバターの作成で大きな進歩を遂げています。しかし、依然として全身の3Dアバターに微妙な表情の変化などを組み込むことはうまくいっていないとのこと。そこで... 続きを読む

予期せぬバグの原因は「満月」だった

2024/05/27 11 users パク 原因 NetHack ローグライクゲーム トレーニング

技術者のバルトウォミェイ・クピアウ氏が、ローグライクゲーム「NetHack」の遊び方を学習するニューラルネットワークのトレーニングをする中で出会った、過去に見た中で最も不思議なバグについての話を披露しています。 So here's a story of, by far, the weirdest bug I've encountered in my CS career. Along with @... 続きを読む

自分がどれくらいニューラルネットワークを理解しているかを確かめられるゲーム「Graph Game」

2024/05/26 159 users ゲーム 自分 グラフ 発展 構造

「Graph Game」はニューラルネットワークの構造をグラフで作成するゲームです。AI技術の発展と共に頻繁に目にするようになった「ニューラルネットワーク」をどの程度理解しているか試せるゲームとのことなので、実際にプレイしてみました。 Graph Game - By Sabrina Ramonov https://graphgame.sabrina.dev/ サイトにア... 続きを読む

AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説

2024/05/22 12 users Claude LLM Research Anthropic

チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大... 続きを読む

本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita

2024/05/09 15 users Qiita MLP ＫＡＮ 威力 文中

文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arno... 続きを読む

ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELUと性能比較してみたら。単純なCNNでMINIST精度 99.43%が出た - Qiita

2024/04/30 7 users Qiita CNN 誤差 出力 誤差逆伝播法

ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELUと性能比較してみたら。単純なCNNでMINIST精度 99.43%が出たDeepLearningPyTorch活性化関数誤差逆伝播法ED法 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差... 続きを読む

中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 勾配降下法 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

NVIDIAとインテルとIBMはどうして差がついてきたのか、あるいは富士通「富岳」CPUが民間普及しなかったのは何故か

2024/03/21 8 users NVIDIA インテル IBM 富士通 CPU

NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。 AIで言えば、IBMのWatsonがずっと先行していた。 AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。 現在、ニューラルネットワークとは違うものになっ... 続きを読む

ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント

2023/10/10 128 users Anthropic ニューロン 個々 単位 言語

GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \... 続きを読む

AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表

2023/05/28 87 users 構成 GPU 一覧表 クラウドサービス 需要

ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 Cloud GPUs - The Full Stack https://fullstackdeeplearning.com... 続きを読む

会社組織に起こる課題をニューラルネットワークで例える｜amachino

2023/05/13 8 users バックプロパゲーション 課題 GPT-4 会社組織 役割

GPT-4 と面白い対話ができたので記録。 Q1. 誤差逆伝播法の問題点を列挙してください。誤差逆伝播法（バックプロパゲーション）は、ニューラルネットワークの学習において重要な役割を果たしていますが、いくつかの問題点が指摘されています。以下に6つの問題点を列挙します。 勾配消失問題（Vanishing Gradient Problem... 続きを読む

「AIのゴッドファーザー」がAI研究を後悔しGoogleを退社

2023/05/02 13 users ゴッドファーザー ヒントン氏 チューリング賞 功績 退社

コンピューター科学と認知心理学の研究者であるジェフリー・ヒントン氏は、2018年に「コンピューター科学のノーベル賞」とされるチューリング賞を受賞した、この分野の大家です。ニューラルネットワークにおける功績から「AIのゴッドファーザー」と呼ばれているヒントン氏が、2023年4月にGoogleを辞めていたことが分かり... 続きを読む

ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2023/05/01 79 users need Bridge ジェネレーティブAI ブリッジ 論文

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is ... 続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 プロセッシング 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT 概観 CNN トランスフォーマー きしだのHatena

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

大半のパスワードを1分以内にクラッキングできるAI「PassGAN」が登場、どんなパスワードであればPassGANでも解析不可能なのか？

2023/04/12 38 users サイバーセキュリティ企業 大半 解析 およそ半分 実験

サイバーセキュリティ企業のHome Security Heroesが、ニューラルネットワークでパスワード予測を行うAI「PassGAN」を使って実際のパスワードを解析する実験の結果を発表しました。それによると、一般的なパスワードのおよそ半分が1分で、65％が1時間で解析できてしまったとのことです。 2023 Password Cracking: How Fas... 続きを読む

深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 | 東京大学

2023/01/24 20 users Professor 准教授 原理 深層学習 理論

発表者 今泉　允聡（東京大学 大学院総合文化研究科 広域科学専攻　准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学... 続きを読む

遅すぎるCNN処理、日立の自動運転研究部が原因と対処術を発表

2022/09/16 7 users 日立 対処術 LSI 日立製作所 原因

日立製作所 研究開発グループ 自動運転研究部は、GPUによるCNN（Convolutional Neural Network：畳み込みニューラルネットワーク）処理において期待したような性能が出ない理由やその対処方法について、「DAシンポジウム2022 −システムとLSIの設計技術−」（情報処理学会 システムとLSIの設計技術研究会(SLDM)が2022年8月... 続きを読む

講座情報詳細｜はじめてのAI （METI/経済産業省）

2022/08/15 152 users METI ディープラーニング 人工知能 世間 機械学習

人工知能、AI、機械学習、ニューラルネットワーク、ディープラーニング…これらの言葉が世間ではよく聞かれるようになっています。よく聞く言葉だけれども、よくわからない、自分の身近なものではなさそうと思っている方も多いのではないでしょうか。本講座では、AI に関わる基本知識だけでなく、事例や具体的にそれがど... 続きを読む

Kavli IPMUなど、AIの活用で宇宙論パラメータの高精度測定に成功 (1)

2022/07/25 5 users Kavli IPMU NAOJ サーベイ 国立天文台 成功

東京大学 国際高等研究所 カブリ数物連携宇宙研究機構(Kavli IPMU)、米アリゾナ大学、京都大学(京大)、名古屋大学(名大)、国立天文台(NAOJ)の5者は7月21日、AI技術の一種であるニューラルネットワークを用いたエミュレータを開発し、現在世界最大の銀河サーベイであるスローン・デジタル・スカイ・サーベイ(SDSS)から得... 続きを読む

オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録

2022/07/01 13 users PyTorch オノマトペ 備忘録 擬音語 環境音

はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 以下の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke... 続きを読む

NumPyでニューラルネットワークをフルスクラッチ実装してみよう

2022/06/21 9 users NumPy フルスクラッチ ディープラー 連載目次 線形代数

「線形代数を使ったニューラルネットワークの基礎を押さえたい！」という方にピッタリ。ニューラルネットワークをPython＋NumPy（線形代数）でフルスクラッチ実装する。線形代数なしで実装した場合との差分から効率的に理解できる。 連載目次 本連載（応用編）の目的 本連載（基礎編）の第1回～第3回では、ディープラー... 続きを読む

真面目なプログラマのためのディープラーニング入門

2022/03/20 1322 users プログラマ ディープラーニング入門 機械 機械学習 疑問

はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなこ... 続きを読む

Pythonでニューラルネットワークを書いてみよう

2022/02/08 168 users DNN ニューラルネット Python スクラッチ 他者

連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記... 続きを読む