NEC、世界トップレベル性能の高速な大規模言語モデル (LLM) cotomi Pro / cotomi Light を開発

2024/04/24 11 users LLM cotomi アーキテクチャ NEC 生成AI

NECは、LLM(Large Language Model：大規模言語モデル)「cotomi(注1)」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発しました。 昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めています。具体的な活用シーン... 続きを読む

日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能

2024/04/08 19 users GPT-4 Cohere ローカル動作 Command R

AI開発企業のCohereがGPT-4と同等の性能を備えた大規模言語モデル「Command R＋」を発表しました。Command R＋は日本語での応答にも対応しており、ローカルにダウンロードして実行可能なほか、ウェブ上で実行できるチャットアプリのデモも公開されています。 Introducing Command R+: A Scalable LLM Built for Business... 続きを読む

マイクロソフト、「Copilot」無料版にも「GPT-4 Turbo」を搭載

2024/03/14 26 users LLM COPILOT chatgpt 脚注機能 HTML

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Microsoft Copilot」の無料版は、より高度な大規模言語モデル（LLM）や、脚注機能、インターネットへのアクセス機能といった、「ChatGPT」の無料版に備わっていない数多くの... 続きを読む

ChatGPTや大規模言語モデル(LLM)から隠された情報や一部機能を盗み出す攻撃手法が登場

2024/03/13 11 users LLM abs OpenAI chatgpt チャットAI

OpenAIのチャットAIであるChatGPTや、Googleの開発する大規模言語モデル(LLM)のPaLM-2などから、機密情報や一部機能を盗み出すことができる「モデル窃盗攻撃(model-stealing attack)」を、AI研究者が発表しました。 [2403.06634] Stealing Part of a Production Language Model https://arxiv.org/abs/2403.06634 Google... 続きを読む

イーロン・マスク氏、米OpenAIとサム・アルトマンCEOを提訴　「営利追及するのは契約違反」

2024/03/01 14 users 提訴 サム 米OpenAI アルトマンCEO OpenAI

マスク氏の弁護士は「米Microsoftが出資するOpenAIが営利を追求しているのは契約違反だ」と主張。また「大規模言語モデル『GPT-4』の設計を完全に秘密にしていた」とも話している。 マスク氏は15年にOpenAIを共同で創業したが、18年に同社の理事会から退いていた。 関連記事 「サム・アルトマン解任騒動」とは何だったの... 続きを読む

「社内のアレ分からん、教えてAI」を支援　Microsoftの“自社版ChatGPT作成サービス”、外部データ取り込み機能が正式リリース

2024/02/21 202 users アレ 正式リリース 外部データ 機能 Rag

米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情... 続きを読む

Appleが画像を見て質問に答えられる大規模言語モデル「Ferret」を開発、ウェイトの情報が公開される

2023/12/25 17 users Ferret github.com ウエイト タスク テキスト

画像とテキストを組み合わせてタスクをこなせるマルチモーダル大規模言語モデルの「Ferret」のウェイト情報をAppleが公開しました。ウェイトのデータはCC-BY-NCライセンスでの提供となっており、研究目的でのみ利用可能です。 apple/ml-ferret https://github.com/apple/ml-ferret Ferretは2023年10月30日に公開されたマ... 続きを読む

大規模言語モデルへの入力プロンプトを意味を保ったまま高度に圧縮する技術「LLMLingua」をMicrosoftが開発

2023/12/19 10 users プロンプト Microsoft 入力プロンプト API 精度

近年はさまざまな大規模言語モデルが台頭し、入力するプロンプトを工夫することで高精度な回答を得る方法も数多く生み出されています。しかし、入力プロンプトがあまりにも長くなりすぎると、チャットウィンドウの上限を超えてしまったり、APIのコストが増大してしまったりするデメリットも生じます。そこでMicrosoft Re... 続きを読む

心を読んでテキストに変換する「BrainGPT」が登場、実験の様子がムービーで確認可能

2023/12/18 15 users カンファレンスイベント NeurIPS 脳波 ムービー 実験

2023年12月10日から16日にかけて行われた機械学習と計算論的神経科学のカンファレンスイベント「NeurIPS」において、シドニー工科大学の研究チームによる「生の脳波を直接言語に翻訳する」という大規模言語モデル「BrainGPT」の論文が注目論文として選出されました。 New Mind-Reading "BrainGPT" Turns Thoughts Into T... 続きを読む

Google、医療特化の大規模言語モデル「MedLM」の提供開始

2023/12/14 11 users LLM Google 提供開始 米国 医療用途

Googleは、医療業界向けの新たなLLM「MedLM」を米国で提供開始した。「PaLM 2」ベースのLLMを医療関連の膨大なデータセットでトレーニングしたもの。医療研究、医療診断、医療文書作成など、多様な医療用途に使用できるとしている。 米Googleは12月13日（現地時間）、医療業界向けの新しい大規模言語モデル（LLM）、「Me... 続きを読む

Google、論文・レポート作成を生成AIが支援「NotebookLM」公開、Geminiを導入

2023/12/09 106 users GEMINI NotebookLM LLM 論文 生成AI

米Googleは12月8日（現地時間）、Googleラボが初期テスターに提供していたAIノートブック「NotebookLM」（実験製品）を、米国で18歳以上が利用できるようにした。これは今年5月に開発者カンファレンスにおいて、「Project Tailwind」という名称で紹介されたツールであり、オンラインノートに大規模言語モデル（LLM）によ... 続きを読む

「医療」に特化したオープンソースの大規模言語モデル「Meditron」が登場

2023/12/03 13 users LLM Meta 言語モデル オープンソース 医療

Metaの大規模言語モデル(LLM)である「Llama 2」をベースに医学書でトレーニングした、医療専門のLLMスイート「Meditron」が登場しました。登場直後であるため正規採用はまだ推奨されていないものの、医療分野に関する能力がGPT-3.5を上回っていることが報告されています。 [2311.16079] MEDITRON-70B: Scaling Medical P... 続きを読む

ChatGPTを超えるという大規模言語モデル「OpenChat」をローカルで動作させて実力を確かめてみた

2023/11/26 17 users OpenChat chatgpt パラメーター数 実力 実際

OpenChatはオープンソースの大規模言語モデルです。OpenChatのうち2023年11月にリリースされたOpenChat-3.5-7Bモデルはパラメーター数が70億しかないにもかかわらず2023年3月時点のChatGPTを超えるベンチマーク結果を出すほど性能が高いモデルとのことなので、実際に使って試してみました。 imoneoi/openchat: OpenChat:... 続きを読む

Stability AI、ノートPCでも動作する大規模言語モデル（LLM）を発表

2023/10/03 27 users LLM CC-BY-SA Stability AI リリース

Stabilty.AIは10月3日、ノートPCなど計算能力のあまり高くないPCでも動作するように設計されたコンパクトな大規模言語モデル（LLM）「Stable LM 3B」のリリースを発表した。ライセンスは商用利用も可能なオープンソースの「CC-By-SA 4.0」となっている。 軽量・高速にもかかわらず高度な自然言語処理が可能 2023年4月20... 続きを読む

日本語/英語両方で世界トップクラス性能の大規模言語モデル。商用利用可

2023/09/28 20 users 商用利用可 日本語

続きを読む

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”

2023/09/11 34 users LLM GPU スパコン GPT-4 米OpenAI

日本では今、スパコン「富岳」を使ってLLMの研究・開発を進めている。深層学習においてはGPUを使うのが一般的だが、なぜGPUのない富岳を使うのか。そこには現実的な理由があった。 米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進め... 続きを読む

Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開

2023/08/27 54 users Meta プロンプト Code Llama 解釈 生成

Metaは、コードもしくは自然言語によるプロンプトから、コードの生成およびコードに関する自然言語の説明を生成できる大規模言語モデル「Code Llama」を公開しました。 Code Llamaは、先月（2023年7月）にMetaが発表した大規模言語モデル「Llama 2」をベースに、コードに特化したデータセットでさらに訓練したバージョン... 続きを読む

科学を変えるAI　大規模言語モデル - 日本経済新聞

2023/08/24 12 users 科学 言語モデル 日本経済新聞 chatgpt 文法

大規模言語モデルとは、WebサービスであるChatGPTの内部で動いているAIだ。ネット上にある大量のテキストを学習することで、文法や単語の意味だけでなく、物事の因果関係や地理・歴史といった知識も習得している。しかし、大規模言語モデルが学習できるものは何も言語だけに限らない。たとえば遺伝情報をテキストとみな... 続きを読む

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元

2023/08/21 15 users LLM BigQuery ゆび 田口 グロースチーム

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ... 続きを読む

生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？ メタやテスラが抱える驚きのGPU数

2023/08/19 12 users NVIDIA シリコンバレー テスラ GPU メタ

現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているの... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

生成AIに｢無限に抜け出せない催眠術｣をかけた結果...

2023/08/14 16 users 生成AI 催眠術 結果 Bard OpenAI

生成AIに｢無限に抜け出せない催眠術｣をかけた結果...2023.08.15 08:00 Mack DeGeurin -Gizmodo US- ［原文］ （ R.Mitsubori ） AIもダークサイドに落ちる。 IBMのセキュリティ研究者は、OpenAIのChatGPTやGoogleのBardといった有名な大規模言語モデルに対し｢催眠術をかける｣ことに成功したと発表しました。 催眠術にか... 続きを読む

LINE、日本語の大規模言語モデル公開　オープンソースで　商用利用もOK

2023/08/14 40 users ソース line 商用利用 言語モデル公開 日本語

LINEは8月14日、日本語に特化した大規模言語モデル（LLM）「japanese-large-lm」を発表した。オープンソース（OSS）として公開し、商用利用も可能（Apache License 2.0）としている。 公開したLLMは、36億パラメーターと17億パラメーターの2つ。両モデルともHuggingFace Hubからアクセスできる。Web由来のテキストから大... 続きを読む

ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた

2023/07/31 21 users chatgpt 米Meta GPT-4 米OpenAI 対抗馬

生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。Llama 2ならば自宅のローカルPCでも動作させられるかもしれません。ということで、Text Generation web UIを使って、Llama 2を試してみました... 続きを読む

大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

2023/07/24 13 users LLM Turing 藤井 言語モデル 自動運転

はじめに Turing 株式会社リサーチチームの藤井(@okoge_kaz)です。 Turingでは、自動運転を支える技術のひとつとして大規模言語モデル(Large Language Model: LLM)に注目しており、関連する技術の研究開発を行っています。 つい先日、大規模言語モデルの事前学習を行う際に用いられることが多いmicrosoft/Megatron-DeepS... 続きを読む