中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 勾配降下法 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

NVIDIAとインテルとIBMはどうして差がついてきたのか、あるいは富士通「富岳」CPUが民間普及しなかったのは何故か

2024/03/21 8 users NVIDIA インテル IBM 富士通 CPU

NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。 AIで言えば、IBMのWatsonがずっと先行していた。 AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。 現在、ニューラルネットワークとは違うものになっ... 続きを読む

ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント

2023/10/10 128 users Anthropic ニューロン 個々 単位 言語

GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \... 続きを読む

AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表

2023/05/28 87 users 構成 GPU 一覧表 クラウドサービス 需要

ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 Cloud GPUs - The Full Stack https://fullstackdeeplearning.com... 続きを読む

会社組織に起こる課題をニューラルネットワークで例える｜amachino

2023/05/13 8 users バックプロパゲーション 課題 GPT-4 会社組織 役割

GPT-4 と面白い対話ができたので記録。 Q1. 誤差逆伝播法の問題点を列挙してください。誤差逆伝播法（バックプロパゲーション）は、ニューラルネットワークの学習において重要な役割を果たしていますが、いくつかの問題点が指摘されています。以下に6つの問題点を列挙します。 勾配消失問題（Vanishing Gradient Problem... 続きを読む

「AIのゴッドファーザー」がAI研究を後悔しGoogleを退社

2023/05/02 13 users ゴッドファーザー ヒントン氏 チューリング賞 功績 退社

コンピューター科学と認知心理学の研究者であるジェフリー・ヒントン氏は、2018年に「コンピューター科学のノーベル賞」とされるチューリング賞を受賞した、この分野の大家です。ニューラルネットワークにおける功績から「AIのゴッドファーザー」と呼ばれているヒントン氏が、2023年4月にGoogleを辞めていたことが分かり... 続きを読む

ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2023/05/01 79 users need Bridge ジェネレーティブAI ブリッジ 論文

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is ... 続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 プロセッシング 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT 概観 CNN トランスフォーマー きしだのHatena

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

大半のパスワードを1分以内にクラッキングできるAI「PassGAN」が登場、どんなパスワードであればPassGANでも解析不可能なのか？

2023/04/12 38 users サイバーセキュリティ企業 大半 解析 およそ半分 実験

サイバーセキュリティ企業のHome Security Heroesが、ニューラルネットワークでパスワード予測を行うAI「PassGAN」を使って実際のパスワードを解析する実験の結果を発表しました。それによると、一般的なパスワードのおよそ半分が1分で、65％が1時間で解析できてしまったとのことです。 2023 Password Cracking: How Fas... 続きを読む

深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 | 東京大学

2023/01/24 20 users Professor 准教授 原理 深層学習 理論

発表者 今泉　允聡（東京大学 大学院総合文化研究科 広域科学専攻　准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学... 続きを読む

遅すぎるCNN処理、日立の自動運転研究部が原因と対処術を発表

2022/09/16 7 users 日立 対処術 LSI 日立製作所 原因

日立製作所 研究開発グループ 自動運転研究部は、GPUによるCNN（Convolutional Neural Network：畳み込みニューラルネットワーク）処理において期待したような性能が出ない理由やその対処方法について、「DAシンポジウム2022 −システムとLSIの設計技術−」（情報処理学会 システムとLSIの設計技術研究会(SLDM)が2022年8月... 続きを読む

講座情報詳細｜はじめてのAI （METI/経済産業省）

2022/08/15 152 users METI ディープラーニング 人工知能 世間 機械学習

人工知能、AI、機械学習、ニューラルネットワーク、ディープラーニング…これらの言葉が世間ではよく聞かれるようになっています。よく聞く言葉だけれども、よくわからない、自分の身近なものではなさそうと思っている方も多いのではないでしょうか。本講座では、AI に関わる基本知識だけでなく、事例や具体的にそれがど... 続きを読む

Kavli IPMUなど、AIの活用で宇宙論パラメータの高精度測定に成功 (1)

2022/07/25 5 users Kavli IPMU NAOJ サーベイ 国立天文台 成功

東京大学 国際高等研究所 カブリ数物連携宇宙研究機構(Kavli IPMU)、米アリゾナ大学、京都大学(京大)、名古屋大学(名大)、国立天文台(NAOJ)の5者は7月21日、AI技術の一種であるニューラルネットワークを用いたエミュレータを開発し、現在世界最大の銀河サーベイであるスローン・デジタル・スカイ・サーベイ(SDSS)から得... 続きを読む

オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録

2022/07/01 13 users PyTorch オノマトペ 備忘録 擬音語 環境音

はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 以下の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke... 続きを読む

NumPyでニューラルネットワークをフルスクラッチ実装してみよう

2022/06/21 9 users NumPy フルスクラッチ ディープラー 連載目次 線形代数

「線形代数を使ったニューラルネットワークの基礎を押さえたい！」という方にピッタリ。ニューラルネットワークをPython＋NumPy（線形代数）でフルスクラッチ実装する。線形代数なしで実装した場合との差分から効率的に理解できる。 連載目次 本連載（応用編）の目的 本連載（基礎編）の第1回～第3回では、ディープラー... 続きを読む

真面目なプログラマのためのディープラーニング入門

2022/03/20 1322 users プログラマ ディープラーニング入門 機械 機械学習 疑問

はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなこ... 続きを読む

Pythonでニューラルネットワークを書いてみよう

2022/02/08 168 users DNN ニューラルネット Python スクラッチ 他者

連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記... 続きを読む

Googleの無料AI講座受けてみた 1時間で機械学習の基礎がわかる | Ledge.ai

2021/12/30 19 users Ledge.ai 機械学習 Google 基礎 無料AI講座

2021年にAI（人工知能）関連メディア「Ledge.ai」で公開した記事のうち、反響の大きかったもの再掲します（※初公開日：2021年5月29日）。 第5回となる今回は、グーグル合同会社（Google）が提供する、「はじめてのAI」を受けてみました。本講座では、身近なAIの活用事例だけではなく、機械学習、ニューラルネットワーク... 続きを読む

Lensだけで作るニューラルネットワーク

2021/12/15 12 users LENS 微分可能プログラミング 圏論 機械学習 構成要素

これは、FOLIO Advent calendar 2021 の15日目の記事です。 圏論を機械学習に応用する話題の一つとしてLensで微分可能プログラミングを実装する話を紹介したいと思います。とはいえ圏論など気にせずLensを使ったニューラルネットワークを実装していきます。学習モデル、誤差関数、学習係数などの基本的な構成要素が全てL... 続きを読む

Googleが提供する無料のAI講座受けてみた 1時間で機械学習の基礎がわかる | Ledge.ai

2021/05/29 1408 users Ledge.ai AI講座 機械学習 Google 基礎

『文系大学生がAI講座受けてみた』では、大学では文学部で日本語学を専攻する文系の私が無料で学べるAI講座にチャレンジしていきます！ 第5回目となる今回は、グーグル合同会社（Google）が提供する、「はじめてのAI」を受けてみました。本講座では、身近なAIの活用事例だけではなく、機械学習、ニューラルネットワーク... 続きを読む

ニューラルネットワークと遺伝的アルゴリズムで最高にエッチな人格を作ろう！

2021/04/07 13 users アルゴリズム 人格 だんだん アルゴリズムちゃん 好み

説明 このページは、ニューラルネットワークと遺伝的アルゴリズムでエッチな人格を作るためのシステムです。 メッセージを送り、二つの返信の中から、よりエッチな方を選んでください。 アルゴリズム学習により、みんなの好みに合わせてだんだんとエッチな返信が返ってくるようになるはずです。 アルゴリズムちゃんの機... 続きを読む

Mozillaが「FirefoxをApple Siliconにネイティブ対応させるまでの苦難」を解説 - GIGAZINE

2021/01/21 17 users GIGAZINE SoC Mozilla 苦難 Firefox

2020年11月に登場した初のApple Siliconである「M1」は、従来のMacに搭載されてきたSoCに比べて、1ワットあたりのパフォーマンスが飛躍的に進化しており、テクノロジーメディア各社から絶賛に近い評価を得ました。そんなApple SiliconにFirefoxがネイティブ対応するまでの経緯について、ニューラルネットワークによるコ... 続きを読む

言語モデル：朝日新聞社メディアラボ 人工知能研究の取り組み

2020/11/19 8 users 朝日新聞社メディアラボ clm 人工知能研究 文中 言語モデル

概要 言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋め... 続きを読む

PyTorchでDCGANを作ってみよう (1/2)：作って試そう！　ディープラーニング工作室 - ＠IT

2020/11/06 8 users DCGAN PyTorch GaN MNIST CNN

今回の目的 前回は全結合型のニューラルネットワークを用いて、GANを構成しました。題材に選んだのはMNISTの手書き数字です。しかし、その結果はあまり芳しいものではありませんでした。 そこで、今回は「CNNなんて怖くない！　その基本を見てみよう」や「PyTorchで畳み込みオートエンコーダーを作ってみよう」などで取... 続きを読む