KubernetesとPyTorch Lightningによる医療AI開発環境とそのTips - エムスリーテックブログ

2024/12/05 17 users Tips エムスリーテックブログ DALL-E 三浦 モデル

こちらはエムスリー Advent Calendar 2024 5日目の記事です。AI・機械学習チームの三浦 (@mamo3gr) が、深層学習に基づく医療AIの開発環境とTipsについてお送りします。 DALL-E 3が生成した「巨大クラスタによるAI開発」のイメージ図 Kubernetesクラスタよる医療AIの開発 モデルの性能改善に注力できるフレームワークPyT... 続きを読む

国産AIスタートアップ・PFNが“生成AI向けプロセッサ”独自開発、2026年提供へ　「GPUの10倍高速で省電力」

2024/11/15 13 users GPU 省電力 pfn 開発 10倍

AIスタートアップ・Preferred Networks（東京都千代田区、以下PFN）は11月15日、大大規模言語モデルなど生成AI向けの独自プロセッサ「MN-Core L1000」の開発を始めると発表した。生成AIの推論時に、GPUなどの既存プロセッサに比べ最大10倍の高速処理を目指す。提供予定は2026年。 PFNでは16年から、深層学習の特徴である... 続きを読む

深層学習のゴッドファーザーにノーベル物理学賞　専門家が背景を解説：朝日新聞デジタル

2024/10/08 29 users 機械学習 人工知能 人工 松尾豊教授 基礎

2024年のノーベル物理学賞は現在の人工知能（AI）に欠かせない「機械学習」の基礎となる発見をした2人の研究者に贈られる。国内のAI研究者らは驚きと喜びを持って受け止めた。　東京大の松尾豊教授（人工… 続きを読む

シンギュラリティ、もう来てない？ | やねうら王 公式サイト

2024/06/03 10 users シンギュラリティ 進歩 やねうら王 根拠 速いこと

2045年頃にシンギュラリティが起きると言われている。技術の進歩が予想以上に速いことから、これが早まる可能性があると考える研究者も多い。 私はシンギュラリティはもう来てるんじゃないかと思っている。今回はその根拠について少し書く。 岡谷貴之さんの『深層学習』(第二版)には「student gradient descent」という... 続きを読む

NTT、深層学習の再学習コストを削減する「学習転移」 世界初

2024/05/07 11 users NTT 世界初

続きを読む

世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現～NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に～ | ニュースリリース | NTT

2024/05/07 18 users 精度 一定 変換 低コスト tsuzumi

◆深層学習において、過去の学習過程をモデル間で再利用する全く新たな仕組みとして「学習転移」技術を実現しました。 ◆本技術は、深層学習におけるパラメータ空間の高い対称性を活用し、実際に学習することなく低コストな変換により数秒～数分程度で一定の精度を実現できるため、モデルの再学習コストを抜本的に削減でき... 続きを読む

日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

2024/04/10 11 users Qiita LLM 日本語LLM 量子化 相関

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） と... 続きを読む

中学生でもわかる深層学習

2024/03/29 508 users 中学生 ニューラルネットワーク 勾配降下法 音声 講演

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

マグロ、ワイン、日本酒……AIが目利き　「10年以上かかる」職人スキルを深層学習で再現

2024/02/13 9 users マクロ 人手不足 若手 再現 目利き

マグロ、ワイン、日本酒……AIが目利き　「10年以上かかる」職人スキルを深層学習で再現（1/2 ページ） AIなどを活用してベテランのスキルを再現したり、若手に伝承したりする取り組みが進んでいる。昔ながらのアナログなスキルをデジタル技術が支える時代が到来しつつある。 各業界で人手不足が深刻になっているが、特に... 続きを読む

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”

2023/09/11 34 users LLM GPU スパコン GPT-4 米OpenAI

日本では今、スパコン「富岳」を使ってLLMの研究・開発を進めている。深層学習においてはGPUを使うのが一般的だが、なぜGPUのない富岳を使うのか。そこには現実的な理由があった。 米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進め... 続きを読む

「Excel」にPythonを統合、データ分析と可視化のスムーズなワークフローを実現

2023/08/22 149 users ワークフロー Python プログラミング言語 Excel

「Python」は現在、最も人気のあるプログラミング言語の1つである。Webアプリの開発から、近年需要が伸びているデータ分析や機械学習、深層学習といった幅広い分野で利用されている。コードが分かりやすく、読みやすいため、プログラミング知識が少ない人でも扱いやすい。そのため、企業や学生の間でも利用が増えている... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Development pfn Kubernetesベース

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

AI搭載の戦闘ロボ、脅威に　「深層学習の父」が懸念 - 日本経済新聞

2023/06/29 7 users 脅威 戦闘ロボ 懸念 AI搭載 シリコンバレー

【シリコンバレー=渡辺直樹】人工知能（AI）研究の権威で「深層学習の父」とも呼ばれるトロント大学のジェフリー・ヒントン氏は28日、カナダで開かれたテックイベントで、将来的なAI活用について「バトル（戦闘）ロボットをつくろうとしている人々がいる」と懸念を示した。「意志を持たず、（ロシアの）プーチン（大統領... 続きを読む

ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？

2023/05/07 207 users ジェフリー・ヒントン 本誌 グーグル 取材 理由

Geoffrey Hinton tells us why he’s now scared of the tech he helped build ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？ 【期間限定無料公開】深層学習の父と呼ばれるジェフリー・ヒントンが本誌の取材に応じ、グーグルを退社した理由を語った。グーグルを辞めてから話したい「AIの問題... 続きを読む

“AIのゴッドファーザー”ことヒントン博士、Googleを退社してAI開発に警鐘

2023/05/03 9 users ゴッドファーザー 警鐘 ディープラーニング インタビュー 企業

“AIのゴッドファーザー”の二つ名を持つジェフリー・ヒントン博士がGoogleを辞めた。New York Timesのインタビューで「Googleを辞めたので、AIのリスクについて自由に話せるようになった」と語った。企業がAIシステムを改善するにつれて、危険は増大すると警鐘を鳴らす。 AI研究者で「ディープラーニング（深層学習）」な... 続きを読む

〝AIの父〟がGoogleを退社「人類の脅威になる」と危険性を暴露 | AppBank

2023/05/02 162 users AppBank ゴッドファーザー LLM 脅威 暴露

深層学習（LLM）の第一人者であり、AIの父（ゴットファーザー）と呼ばれるジェフリー・ヒントン氏が、Googleを退社していたことを米メディア「The New York Times」に明かしました。同氏は退社した理由について「AIのリスクについて自由に発言するため」だとしています。 *Category:テクノロジー Technology *Source：Th... 続きを読む

謎だらけのAI、深層学習の賢さ説明できず　人の意図超す - 日本経済新聞

2023/04/28 10 users 謎だらけ 日本経済新聞

NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

最近のAIボイスチェンジャー(RVC、so-vits-svc)

2023/04/09 35 users 声質 RVC 勘違い 特定 アプローチ

私は趣味で機械学習を学ぶ初学者であり、説明に間違いや勘違いがある可能性があります。そういった点がありましたらコメントで指摘していただけると助かります。 AIボイスチェンジャーとは ある発話音声の入力を特定の話者が発話したような声質の発話音声に変換するための、深層学習を使用したアプローチがそう呼ばれて... 続きを読む

機械学習とは？種類やできること、プログラムとの違いを解説

2023/03/16 15 users 機械学習 プログラム 種類 解説 類語

機械学習とは 本稿では、まず機械学習とは何かについて説明します。機械学習とは何が何を学習しているのか、従来のプログラムとの違いは何か、についても触れます。類語としてよくでてくるディープラーニング（Deep Learning、深層学習とも）、教師あり学習、教師なし学習についても用語を整理します。 その前に人工知能... 続きを読む

AITuber育成完全入門（冴えないAITuberの育て方）｜みゆきP｜note

2023/03/11 513 users AITuber Note 生成 親バカ 育成ゲーム

はじめにAITuber開発は高尚な深層学習のモデル開発ではまったくなく、むしろ、ただの推しの育成ゲームです この記事でできること以下のようなAITuberが作れます。可愛いですね（親バカ） 早い人で週末に2日で作れると思います！ 土日に作ったAITuberをみんなに公開しちゃいましょう！！！ AITuber作成手順立ち絵の生成 ... 続きを読む

｢ChatGPT｣に浮かれる人が知らない恐ろしい未来

2023/03/04 393 users chatgpt Transformer 梅谷秀司 Bing

新井紀子氏はChatGPTの爆発的な人気に潜む危うさを語った（写真：梅谷秀司、ChatGPTのログイン画像キャプチャ） 2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer... 続きを読む

ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由

2023/02/27 610 users chatgpt FlexGen 知性 ゲームチェンジャー 冒頭

ChatGPTの振る舞いをみると、まさに｢人工知能｣という印象があるが、その構造を知ると、知性を生み出すことを狙ったものではないことが見えてくる 作成：Business Insider Japan 冒頭に書いたとおり、深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 Facebook AI Research改めFoundamental AI ... 続きを読む

[FT]人間が囲碁AIに勝利、弱点発見　深層学習の欠陥示唆 - 日本経済新聞

2023/02/21 16 users 囲碁 節目 AI台頭 コンピューター 最高峰

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 人間が囲碁で最高峰の人工知能（AI）システムを完全に打ち破った。AI台頭に関して歴史的な節目とされた2016年のコンピューターの勝利から一転して、驚きの結果となった... 続きを読む

人工知能・深層学習を学ぶためのロードマップ

2023/02/13 776 users 人工知能 念頭 ロードマップ 大学生向け 一通り

このページでは，人工知能や深層学習を学んだことのない方向けに，それらを学ぶためのロードマップを紹介しています． ここでは対象者として「情報系以外の大学生向け」と「社会人向け」を想定し，それぞれ10時間・200時間で人工知能や深層学習について一通りの内容を学ぶことを念頭に作成しています． もちろん限られた... 続きを読む