日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

2024/04/10 11 users Qiita LLM 日本語LLM 量子化 相関

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） と... 続きを読む

中学生でもわかる深層学習

2024/03/29 508 users 中学生 ニューラルネットワーク 勾配降下法 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

マグロ、ワイン、日本酒……AIが目利き　「10年以上かかる」職人スキルを深層学習で再現

2024/02/13 9 users マクロ 人手不足 若手 再現 目利き

マグロ、ワイン、日本酒……AIが目利き　「10年以上かかる」職人スキルを深層学習で再現（1/2 ページ） AIなどを活用してベテランのスキルを再現したり、若手に伝承したりする取り組みが進んでいる。昔ながらのアナログなスキルをデジタル技術が支える時代が到来しつつある。 各業界で人手不足が深刻になっているが、特に... 続きを読む

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”

2023/09/11 34 users LLM GPU スパコン GPT-4 米OpenAI

日本では今、スパコン「富岳」を使ってLLMの研究・開発を進めている。深層学習においてはGPUを使うのが一般的だが、なぜGPUのない富岳を使うのか。そこには現実的な理由があった。 米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進め... 続きを読む

「Excel」にPythonを統合、データ分析と可視化のスムーズなワークフローを実現

2023/08/22 149 users ワークフロー Python プログラミング言語 Excel

「Python」は現在、最も人気のあるプログラミング言語の1つである。Webアプリの開発から、近年需要が伸びているデータ分析や機械学習、深層学習といった幅広い分野で利用されている。コードが分かりやすく、読みやすいため、プログラミング知識が少ない人でも扱いやすい。そのため、企業や学生の間でも利用が増えている... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Development pfn Kubernetesベース

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

AI搭載の戦闘ロボ、脅威に　「深層学習の父」が懸念 - 日本経済新聞

2023/06/29 7 users 脅威 戦闘ロボ 懸念 AI搭載 シリコンバレー

【シリコンバレー=渡辺直樹】人工知能（AI）研究の権威で「深層学習の父」とも呼ばれるトロント大学のジェフリー・ヒントン氏は28日、カナダで開かれたテックイベントで、将来的なAI活用について「バトル（戦闘）ロボットをつくろうとしている人々がいる」と懸念を示した。「意志を持たず、（ロシアの）プーチン（大統領... 続きを読む

ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？

2023/05/07 207 users ジェフリー・ヒントン 本誌 グーグル 取材 理由

Geoffrey Hinton tells us why he’s now scared of the tech he helped build ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？ 【期間限定無料公開】深層学習の父と呼ばれるジェフリー・ヒントンが本誌の取材に応じ、グーグルを退社した理由を語った。グーグルを辞めてから話したい「AIの問題... 続きを読む

“AIのゴッドファーザー”ことヒントン博士、Googleを退社してAI開発に警鐘

2023/05/03 9 users ゴッドファーザー 警鐘 ディープラーニング インタビュー 企業

“AIのゴッドファーザー”の二つ名を持つジェフリー・ヒントン博士がGoogleを辞めた。New York Timesのインタビューで「Googleを辞めたので、AIのリスクについて自由に話せるようになった」と語った。企業がAIシステムを改善するにつれて、危険は増大すると警鐘を鳴らす。 AI研究者で「ディープラーニング（深層学習）」な... 続きを読む

〝AIの父〟がGoogleを退社「人類の脅威になる」と危険性を暴露 | AppBank

2023/05/02 162 users AppBank ゴッドファーザー LLM 脅威 暴露

深層学習（LLM）の第一人者であり、AIの父（ゴットファーザー）と呼ばれるジェフリー・ヒントン氏が、Googleを退社していたことを米メディア「The New York Times」に明かしました。同氏は退社した理由について「AIのリスクについて自由に発言するため」だとしています。 *Category:テクノロジー Technology *Source：Th... 続きを読む

謎だらけのAI、深層学習の賢さ説明できず　人の意図超す - 日本経済新聞

2023/04/28 10 users 謎だらけ 日本経済新聞

NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

最近のAIボイスチェンジャー(RVC、so-vits-svc)

2023/04/09 35 users 声質 RVC 勘違い 特定 アプローチ

私は趣味で機械学習を学ぶ初学者であり、説明に間違いや勘違いがある可能性があります。そういった点がありましたらコメントで指摘していただけると助かります。 AIボイスチェンジャーとは ある発話音声の入力を特定の話者が発話したような声質の発話音声に変換するための、深層学習を使用したアプローチがそう呼ばれて... 続きを読む

機械学習とは？種類やできること、プログラムとの違いを解説

2023/03/16 15 users 機械学習 プログラム 種類 解説 類語

機械学習とは 本稿では、まず機械学習とは何かについて説明します。機械学習とは何が何を学習しているのか、従来のプログラムとの違いは何か、についても触れます。類語としてよくでてくるディープラーニング（Deep Learning、深層学習とも）、教師あり学習、教師なし学習についても用語を整理します。 その前に人工知能... 続きを読む

AITuber育成完全入門（冴えないAITuberの育て方）｜みゆきP｜note

2023/03/11 513 users AITuber Note 生成 親バカ 育成ゲーム

はじめにAITuber開発は高尚な深層学習のモデル開発ではまったくなく、むしろ、ただの推しの育成ゲームです この記事でできること以下のようなAITuberが作れます。可愛いですね（親バカ） 早い人で週末に2日で作れると思います！ 土日に作ったAITuberをみんなに公開しちゃいましょう！！！ AITuber作成手順立ち絵の生成 ... 続きを読む

｢ChatGPT｣に浮かれる人が知らない恐ろしい未来

2023/03/04 393 users chatgpt Transformer 梅谷秀司 Bing

新井紀子氏はChatGPTの爆発的な人気に潜む危うさを語った（写真：梅谷秀司、ChatGPTのログイン画像キャプチャ） 2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer... 続きを読む

ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由

2023/02/27 610 users chatgpt FlexGen 知性 ゲームチェンジャー 冒頭

ChatGPTの振る舞いをみると、まさに｢人工知能｣という印象があるが、その構造を知ると、知性を生み出すことを狙ったものではないことが見えてくる 作成：Business Insider Japan 冒頭に書いたとおり、深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 Facebook AI Research改めFoundamental AI ... 続きを読む

[FT]人間が囲碁AIに勝利、弱点発見　深層学習の欠陥示唆 - 日本経済新聞

2023/02/21 16 users 囲碁 節目 AI台頭 コンピューター 最高峰

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 人間が囲碁で最高峰の人工知能（AI）システムを完全に打ち破った。AI台頭に関して歴史的な節目とされた2016年のコンピューターの勝利から一転して、驚きの結果となった... 続きを読む

人工知能・深層学習を学ぶためのロードマップ

2023/02/13 776 users 人工知能 念頭 ロードマップ 大学生向け 一通り

このページでは，人工知能や深層学習を学んだことのない方向けに，それらを学ぶためのロードマップを紹介しています． ここでは対象者として「情報系以外の大学生向け」と「社会人向け」を想定し，それぞれ10時間・200時間で人工知能や深層学習について一通りの内容を学ぶことを念頭に作成しています． もちろん限られた... 続きを読む

AI研究者に「最も実社会で成功したAIって？」と聞いたら意外な答えが返ってきた「AIという感覚消えつつある」

2023/02/08 32 users 答え 感覚 実社会 AI研究者 コンパイラ

西村 賢🐠Coral Capital / Ken Nishimura @knsmr AI研究者の友だちに「AI研究の最大の社会実装の成功って何？」と聞いたら「乗換案内かな」という回答。経路探索がAIという感覚は僕らにはもうない。コンパイラがAIとも思っていない。同様に深層学習の画像認識も、早々とAIという感覚は消えつつあるような。魔法のように... 続きを読む

東大松尾研、深層強化学習の無料講座　受講学生を募集

2023/01/27 12 users 東大松尾研 深層強化学習 高専 大学院 無料講座

東京大学 松尾豊研究室が、深層強化学習のオンライン無料講座を2月13日にスタートする。深層学習の基礎を習得済みの学生向け。ロボット制御、ゲームAI、物理シミュレーションなどの研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指す。 大学院、大学、高専、専門学校、高校、中学などの学生向け... 続きを読む

深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 | 東京大学

2023/01/24 20 users ニューラルネットワーク Professor 准教授 原理 理論

発表者 今泉　允聡（東京大学 大学院総合文化研究科 広域科学専攻　准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学... 続きを読む

AI 激動の年！2022年の人工知能10大トレンドと必読論文

2023/01/02 439 users 進歩 論文 人工知能 激動 参考文献

2022年も、人工知能の分野は急速に発展しました。本記事では、最新の深層学習の論文を何百本と読み解いて分かった「2022年の最重要トレンド」を詳細な参考文献と共に紹介します。人工知能の分野は、進歩が早くてキャッチアップが大変ですが、本記事を読めば、大まかなトレンドと重要研究をおさえられるように書きました... 続きを読む

PFN、深層学習を高速化するプロセッサーMN-Core 2の開発および、MN-Coreシリーズのクラウドサービス構想を発表 - 株式会社Preferred Networks

2022/12/14 5 users pfn プリファードネットワークス ディープラーニング 開発

株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、深層学習を高速化するディープラーニング・プロセッサー MN-Core™ 2（エムエヌ・コア・ツー）を、東京ビッグサイトで開催されている SEMICON Japan 2022のキーノート講演において本... 続きを読む

脳波から言葉を生成するAI「Brain-to-Text」　“声道”への指令を解読、言葉に変換

2022/11/06 45 users 脳波 電極 解読 指令 SAN FRANCISCO

米University of California, San Franciscoなどによる研究チームが発表した論文「Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria」は、脳に電極を埋め込み、脳波から言葉を生成する深層学習を用いたシステムを提案した研究報告だ。発声した際に声道付近の筋肉に指令を送る脳神経から読み取... 続きを読む