vLLMで独自実装モデルを高速推論させる

2024/12/04 9 users vLLM LLM Qwen サービング マルチモーダルモデル

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルに... 続きを読む

Meta、「Llama」を「国家防衛のために米政府機関に提供している」

2024/11/05 5 users Meta LLM Accenture Deloitte IBM

米Metaは11月4日（現地時間）、“オープンな”LLM「Llama」シリーズを「防衛および国家安全保障アプリケーションに取り組んでいる機関を含む米国政府機関」に提供していると発表した。 Llamaを政府機関に提供するために、Accenture、AWS、Anduril、Booz Allen、Databricks、Deloitte、IBM、Leidos、Lockheed Martin、Micro... 続きを読む

オープンソースAIを定義する「OSAID」のバージョン1.0が公開、MetaのLlamaはオープンソースAIに合致せず

2024/10/30 6 users Meta OSAID OSI オープンソースAI 定義

オープンソースのあらゆるものを定義し管理するOpen Source Initiative(OSI)が、オープンソースAIを定義する「The Open Source AI Definition(OSAID：オープンソースAIの定義)」のバージョン1.0を公開しました。 The Open Source AI Definition – 1.0 – Open Source Initiative https://opensource.org/ai/open-source-a... 続きを読む

OpenAIのGPTシリーズ・MetaのLlama・BigScienceのBLOOMのような新しくて大きなバージョンの大規模言語モデルを使ったAIは無知を認めるよりも間違った答えを与える傾向が強い

2024/09/29 9 users Meta Bloom ハルシネーション OpenAI 幻覚

近年急速な発展を遂げる生成AIは、複雑な計算や文書の要約などをわずか数秒で遂行してくれます。一方で生成AIには「幻覚(ハルシネーション)」と呼ばれる、虚偽または誤解を招く情報を事実として提示してしまうという問題が存在しています。バレンシア人工知能研究所の研究チームがOpenAIのGPTシリーズや、MetaのLLaMAな... 続きを読む

Hugging Faceでダウンロード可能なAIモデルの数が100万個を突破

2024/09/28 8 users Hugging Face 突破 AIモデル ダウンロード

AIプラットフォームのHugging Faceでは、Metaの「Llama」やGoogleの「Gemma 2」など、数多くのAIモデルが公開されています。そんなHugging Faceでダウンロード可能になったAIモデルの数が2024年9月をもって100万個を突破したことが報告されています。 1M Models on @huggingface Hub ???? Models are going exponential ... 続きを読む

Meta、無料で商用可のLLM「Llama 3.2」リリース　マルチモーダルモデルも

2024/09/26 13 users LLM Meta マルチモーダルモデル 米Meta 商用可

米Metaは9月25日（現地時間）、年次開発者会議「Meta Connect 2024」で、同社のLLM「Llama」の最新版「Llama 3.2」のリリースを発表した。7月に「Llama 3.1」をリリースしたばかりだが、初のマルチモーダルモデルの追加など、大きな更新になった。 画像認識機能の追加 Llama 3.2では、11B（110億）と90B（900億）の2つの... 続きを読む

大規模言語モデルの仕組みが目で見てわかる「Transformer Explainer」

2024/08/15 21 users Transformer 言語モデル Claude GPT-4

GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が、ジョージア工科大学のPolo Club of Data Scienceによ... 続きを読む

MetaがLlamaベースのマルチモーダルAIをEUには提供しない方針を明らかに

2024/07/18 17 users マルチモーダルAI Meta 方針 Microsoft 予定

EUはデジタル市場法やデジタルサービス法で大手デジタルプラットフォームやその運営企業を厳しく規制しており、AppleやGoogle、Meta、Microsoftなどのビッグテックはその対応に追われています。大規模言語モデルのLlamaを開発するMetaが、2024年中にリリースする予定のマルチモーダルAIをEUでは提供しないことを発表しま... 続きを読む

「オープンソース」を称するAIモデルは実際どのくらいオープンなのか？

2024/06/27 5 users AIモデル オープンソース 実際 GPT Meta

近年発展を遂げているAI分野では、OpenAIの大規模言語モデル「GPT」がクローズドで開発されている一方、MetaのLLaMAやGoogleのGemmaなどの大規模言語モデルはオープンでの開発が進められています。しかし、「オープンソースで開発を進めている」と称する言語モデルであっても、どの程度オープンなのかは不透明です。そこ... 続きを読む

Metaが次世代のオープンLLM「Llama 3」を公開、無料で商用利用可能なモデルの中では過去最高の性能

2024/04/19 5 users Meta オープンLLM 性能 llama3 商用利用

MetaがLlamaファミリーの次世代大規模言語モデル「Llama 3」をリリースしました。研究目的のほか、月間アクティブユーザーが7億人以下の場合は無償で商用利用が可能となっています。 Meta Llama 3 https://llama.meta.com/llama3/ Introducing Meta Llama 3: The most capable openly available LLM to date https://ai.... 続きを読む

米メタ、ＡＩ言語モデル最新版を今年7月リリースへ＝報道

2024/02/28 8 users 米メタ 報道 TAB 7月リリース ラマ

米メタはＡＩ（人工知能）大規模言語モデルの最新版「ＬＬａＭＡ（ラマ）３」を今年７月にリリースする予定だ。２０２２年１２月撮影（２０２４年　ロイター/Yves Herman） [２８日 ロイター] - 米メタ(META.O), opens new tabはＡＩ（人工知能）大規模言語モデルの最新版「ＬＬａＭＡ（ラマ）３」を今年７月にリリース... 続きを読む

日本語に強い大規模言語モデル「Swallow」　産総研と東工大が公開　事前学習用の日本語データに工夫

2023/12/20 17 users Swallow LLM 米Meta 産総研 工夫

産業技術総合研究所と東京工業大学の研究チームは、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。 産業技術総合研究所と東京工業大学の研究チームは12月19日、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。米Metaが開発したLLM「Llama 2シリーズ」をベースに日本語能力を改善させたもの。... 続きを読む

AIの「LLaMa」が著作権を侵害したとしてMetaを訴えた作家らの主張がほとんど棄却される

2023/11/22 15 users Meta コメディアン 原告 筆頭 訓練

コメディアン、女優として知られるサラ・シルバーマン氏らを筆頭に3名の作家が著作権侵害でMetaを訴えた件で、AIの訓練に著作物を使用したのは著作権侵害に当たるという原告の主張を除き、すべての請求が棄却されました。 Court Grants Meta's Motion to Dismiss Claims in AI Lawsuit https://www.thefashionlaw.com/co... 続きを読む

GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果

2023/10/16 12 users ファインチューニング GPT Meta OpenAI 脱獄

大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すこ... 続きを読む

Metaの大規模言語モデル「LLaMA」のトレーニングにも使用されたAIの学習用データセット「Books3」が削除される

2023/08/21 8 users Meta デンマーク トレーニング 大規模言語モデル 書籍

デンマークの著作権侵害対策グループ「Rights Alliance」が、約20万冊にも上る書籍のデータセット「Books3」を削除するよう、ホストする「The Eye」に対して要請し、データセットの削除が行われました。Books3はMetaの開発する大規模言語モデル「LLaMA」のトレーニングにも使用されたデータセットです。 Anti-Piracy Gro... 続きを読む

［速報］マイクロソフト、Metaの最新大規模言語モデル「Llama 2 」をAzureとWindowsでサポート。独自の生成的AIを開発可能に

2023/07/18 12 users Meta Azure マイクロソフト Windows ソース

オープンソースで商用利用も可能な大規模言語モデル Llama 2はこのマイクロソフトの発表とほぼ同時にMetaが発表した最新の大規模言語モデルです。 オープンソースとして公開され商用利用も可能で、AI分野で高い実績を残してきたMetaが満を持して公開するモデルとして高い能力を備えていることが期待されています。 Llama... 続きを読む

大規模言語モデルにウソの情報を埋め込んで誤った情報を生成させるチャットAI「PoisonGPT」が開発される

2023/07/10 18 users Meta OpenAI chatgpt GPT-4 ウソ

OpenAIのGPT-4やMetaのLLaMAなどの大規模言語モデルは、ChatGPTなどのチャットAIに用いられるなど、世界的に大きな評価を受けています。しかし、これらの大規模言語モデルには、学習時に使用されたデータやアルゴリズムを特定するためのソリューションが存在しないことが問題視されています。モデルのトレーニングを行う... 続きを読む

OpenAIとMetaが著作権侵害で3人の作家から訴えられる

2023/07/10 7 users Meta OpenAI chatgpt 原告ら 作家

3人のアメリカ人作家が2023年7月7日に、OpenAIのChatGPTとMetaのLLaMAに著作権を侵害されたとして両社を提訴しました。原告らは、著作権で保護された自分たちの書籍が、両社のAIモデルのトレーニング教材として使用されることに同意していないと訴えています。 Sarah Silverman is suing OpenAI and Meta for copyright ... 続きを読む

Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表

2023/06/22 179 users パラメーター phi-1 Microsoft LLM 発表

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット... 続きを読む

Metaの大規模言語モデル「LLaMA」がChatGPTを再現できる可能性があるとさまざまなチャットAI用言語モデルのベンチマーク測定で判明

2023/05/31 12 users パラメーター Meta エディンバラ大学 chatgpt 勢い

近年は機械学習分野の研究がめまぐるしい勢いで進んでおり、数十億を超えるパラメーターを持つ大規模言語モデルが相次いで発表されています。イギリス・エディンバラ大学の大規模言語モデル研究者であるヤオ・フー氏らの研究チームが、独自のベンチマークに基づいて複数の大規模言語モデルのパフォーマンスを比較した結... 続きを読む

StackLLaMA : RLHFでLLaMAを学習するための実践ガイド｜npaka

2023/05/27 11 users RLHF npaka Stack Exchange 学習 以下

以下の記事が面白かったので、簡単にまとめました。 ・StackLLaMA: A hands-on guide to train LLaMA with RLHF 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 ・SFT (Supervised Fine-tuning) : 教師ありファインチ... 続きを読む

LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース

2023/05/10 15 users パブリックプレビュー リリース チェックポイント ライセンス

OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。 今... 続きを読む

「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出

2023/05/08 30 users Meta OpenAI LLM 勝者 LaMDA

2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部... 続きを読む

対話型AIの学習に使われているGoogleのデータセット「C4」には4chanや白人至上主義者のサイトなど問題のあるコンテンツが大量に混入している

2023/04/20 11 users 白人至上主義者 対話型AI 4chan 学習 Google

Metaが2023年2月に公開した大規模言語モデル「LLaMA」を始めとするAIのトレーニングには、Googleが作成した巨大データセット「Colossal Clean Crawled Corpus(C4)」が使用されています。C4は名前の通り「クリーン」なデータで構成されているはずですが、海外メディア・The Washington PostとAI研究者の分析により、このC... 続きを読む

ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生（要約）

2023/03/18 39 users Meta GitHub LLM ラズパイ 派生

Raspberry Pi上で動かせる、GPT-3相当のLLM「Alpaca LoRA」ラズパイ上では1単語当たり10秒で生成GitHub上で公開中 続きを読む