本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita

2024/05/09 15 users Qiita MLP ＫＡＮ 威力 文中

文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arno... 続きを読む

中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 勾配降下法 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント

2023/10/10 128 users Anthropic ニューロン 個々 単位 言語

GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \... 続きを読む

AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表

2023/05/28 87 users 構成 GPU 一覧表 クラウドサービス 需要

ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 Cloud GPUs - The Full Stack https://fullstackdeeplearning.com... 続きを読む

「AIのゴッドファーザー」がAI研究を後悔しGoogleを退社

2023/05/02 13 users ゴッドファーザー ヒントン氏 チューリング賞 功績 退社

コンピューター科学と認知心理学の研究者であるジェフリー・ヒントン氏は、2018年に「コンピューター科学のノーベル賞」とされるチューリング賞を受賞した、この分野の大家です。ニューラルネットワークにおける功績から「AIのゴッドファーザー」と呼ばれているヒントン氏が、2023年4月にGoogleを辞めていたことが分かり... 続きを読む

ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2023/05/01 79 users need Bridge ジェネレーティブAI ブリッジ 論文

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is ... 続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 プロセッシング 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT 概観 CNN トランスフォーマー きしだのHatena

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

大半のパスワードを1分以内にクラッキングできるAI「PassGAN」が登場、どんなパスワードであればPassGANでも解析不可能なのか？

2023/04/12 38 users サイバーセキュリティ企業 大半 解析 およそ半分 実験

サイバーセキュリティ企業のHome Security Heroesが、ニューラルネットワークでパスワード予測を行うAI「PassGAN」を使って実際のパスワードを解析する実験の結果を発表しました。それによると、一般的なパスワードのおよそ半分が1分で、65％が1時間で解析できてしまったとのことです。 2023 Password Cracking: How Fas... 続きを読む

深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 | 東京大学

2023/01/24 20 users Professor 准教授 原理 深層学習 理論

発表者 今泉　允聡（東京大学 大学院総合文化研究科 広域科学専攻　准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学... 続きを読む

講座情報詳細｜はじめてのAI （METI/経済産業省）

2022/08/15 152 users METI ディープラーニング 人工知能 世間 機械学習

人工知能、AI、機械学習、ニューラルネットワーク、ディープラーニング…これらの言葉が世間ではよく聞かれるようになっています。よく聞く言葉だけれども、よくわからない、自分の身近なものではなさそうと思っている方も多いのではないでしょうか。本講座では、AI に関わる基本知識だけでなく、事例や具体的にそれがど... 続きを読む

オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録

2022/07/01 13 users PyTorch オノマトペ 備忘録 擬音語 環境音

はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 以下の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke... 続きを読む

真面目なプログラマのためのディープラーニング入門

2022/03/20 1322 users プログラマ ディープラーニング入門 機械 機械学習 疑問

はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなこ... 続きを読む

Pythonでニューラルネットワークを書いてみよう

2022/02/08 168 users DNN ニューラルネット Python スクラッチ 他者

連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記... 続きを読む

Googleの無料AI講座受けてみた 1時間で機械学習の基礎がわかる | Ledge.ai

2021/12/30 19 users Ledge.ai 機械学習 Google 基礎 無料AI講座

2021年にAI（人工知能）関連メディア「Ledge.ai」で公開した記事のうち、反響の大きかったもの再掲します（※初公開日：2021年5月29日）。 第5回となる今回は、グーグル合同会社（Google）が提供する、「はじめてのAI」を受けてみました。本講座では、身近なAIの活用事例だけではなく、機械学習、ニューラルネットワーク... 続きを読む

Lensだけで作るニューラルネットワーク

2021/12/15 12 users LENS 微分可能プログラミング 圏論 機械学習 構成要素

これは、FOLIO Advent calendar 2021 の15日目の記事です。 圏論を機械学習に応用する話題の一つとしてLensで微分可能プログラミングを実装する話を紹介したいと思います。とはいえ圏論など気にせずLensを使ったニューラルネットワークを実装していきます。学習モデル、誤差関数、学習係数などの基本的な構成要素が全てL... 続きを読む

Googleが提供する無料のAI講座受けてみた 1時間で機械学習の基礎がわかる | Ledge.ai

2021/05/29 1408 users Ledge.ai AI講座 機械学習 Google 基礎

『文系大学生がAI講座受けてみた』では、大学では文学部で日本語学を専攻する文系の私が無料で学べるAI講座にチャレンジしていきます！ 第5回目となる今回は、グーグル合同会社（Google）が提供する、「はじめてのAI」を受けてみました。本講座では、身近なAIの活用事例だけではなく、機械学習、ニューラルネットワーク... 続きを読む

ニューラルネットワークと遺伝的アルゴリズムで最高にエッチな人格を作ろう！

2021/04/07 13 users アルゴリズム 人格 だんだん アルゴリズムちゃん 好み

説明 このページは、ニューラルネットワークと遺伝的アルゴリズムでエッチな人格を作るためのシステムです。 メッセージを送り、二つの返信の中から、よりエッチな方を選んでください。 アルゴリズム学習により、みんなの好みに合わせてだんだんとエッチな返信が返ってくるようになるはずです。 アルゴリズムちゃんの機... 続きを読む

Mozillaが「FirefoxをApple Siliconにネイティブ対応させるまでの苦難」を解説 - GIGAZINE

2021/01/21 17 users GIGAZINE SoC Mozilla 苦難 Firefox

2020年11月に登場した初のApple Siliconである「M1」は、従来のMacに搭載されてきたSoCに比べて、1ワットあたりのパフォーマンスが飛躍的に進化しており、テクノロジーメディア各社から絶賛に近い評価を得ました。そんなApple SiliconにFirefoxがネイティブ対応するまでの経緯について、ニューラルネットワークによるコ... 続きを読む

TPU VS GPU(日本語版) - Stockmark Tech Blog

2020/10/30 23 users Stockmark Tech Blog 日本語版 昨今 訓練

はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩ま... 続きを読む

聖句っぽいポエムを自動生成する「AIジーザス」が爆誕、Twitterアカウントも開設される - GIGAZINE

2020/09/04 14 users GIGAZINE 爆誕 Twitterアカウント 疫病 聖書

聖書を丸ごと学習し、まるで聖句のように格調高い文章を生成することが可能な「AI Jesus(AIジーザス)」が発表されました。ニューラルネットワークの一種であるボルツマンマシンによる自然言語処理で「疫病」や「終末の日」についての文章を紡ぎ出すAIジーザスは、Twitterアカウントまで取得しています。 I Created an A.... 続きを読む

次元の呪い（Curse of dimensionality）とは？：AI・機械学習の用語辞典 - ＠IT

2020/06/28 11 users 呪い 用語辞典 次元 AI・機械学習 指数関数

用語「次元の呪い」について説明。特徴量などの次元が多くなるほど、必要な訓練データの量が「指数関数」的に増えてしまう現象を指す。 連載目次 用語解説 次元の呪い（Curse of dimensionality）とは、次元（＝ニューラルネットワークで言うと入力データとなる特徴量）の数が増えるほど、正確に一般化する（＝高い精度... 続きを読む

人工知能(AI)は意識を持つようになるのか？を神経科学者が解説 - GIGAZINE

2020/05/14 16 users GIGAZINE 目覚ましい発展 ディープラーニング 知能

2012年頃に「ディープラーニング」や「ニューラルネットワーク」が多くの分野で使われるようになってから、人工知能(AI)の分野は目覚ましい発展をみせてきました。「100年以内にAIは人間を超える」と言われることもありますが、AIが人間と同様の「意識」を持つことは将来的に起こりうるのか、神経学者が「意識」と「知能... 続きを読む

指定されたジャンルやアーティストから歌詞入りの楽曲を自動生成するAI「Jukebox」をOpenAIが開発 - GIGAZINE

2020/05/01 10 users Jukebox GIGAZINE OpenAI 楽曲 人工知能

人工知能を研究する非営利団体OpenAIが、ニューラルネットワークを使って指定されたジャンル・アーティストから歌詞入りの楽曲を生成してくれるAI「Jukebox」を公開しました。 Jukebox https://openai.com/blog/jukebox/ OpenAI introduces Jukebox, a new AI model that generates genre-specific music with lyrics - ... 続きを読む

機械学習のための日本語前処理 - Qiita

2020/04/29 10 users Qiita 備忘録 チャットボット 機械学習 テキスト

はじめに 機械学習を使ったチャットボットの仕組みを理解するために、テキストを訓練データとする簡単なニューラルネットワークを作成した際の備忘録。 目的 英文テキストで作成したルールベース型チャットボットを、日本語テキストにも適用して動作させること。日本語テキストを前処理し、それをニューラルネットワーク... 続きを読む