Meta、無料で商用可のLLM「Llama 3.2」リリース　マルチモーダルモデルも

2024/09/26 13 users LLM Meta マルチモーダルモデル 米Meta 商用可

米Metaは9月25日（現地時間）、年次開発者会議「Meta Connect 2024」で、同社のLLM「Llama」の最新版「Llama 3.2」のリリースを発表した。7月に「Llama 3.1」をリリースしたばかりだが、初のマルチモーダルモデルの追加など、大きな更新になった。 画像認識機能の追加 Llama 3.2では、11B（110億）と90B（900億）の2つの... 続きを読む

大規模言語モデルの仕組みが目で見てわかる「Transformer Explainer」

2024/08/15 21 users Transformer 言語モデル Claude GPT-4

GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が、ジョージア工科大学のPolo Club of Data Scienceによ... 続きを読む

MetaがLlamaベースのマルチモーダルAIをEUには提供しない方針を明らかに

2024/07/18 17 users マルチモーダルAI Meta 方針 Microsoft 予定

EUはデジタル市場法やデジタルサービス法で大手デジタルプラットフォームやその運営企業を厳しく規制しており、AppleやGoogle、Meta、Microsoftなどのビッグテックはその対応に追われています。大規模言語モデルのLlamaを開発するMetaが、2024年中にリリースする予定のマルチモーダルAIをEUでは提供しないことを発表しま... 続きを読む

日本語に強い大規模言語モデル「Swallow」　産総研と東工大が公開　事前学習用の日本語データに工夫

2023/12/20 17 users Swallow LLM 米Meta 産総研 工夫

産業技術総合研究所と東京工業大学の研究チームは、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。 産業技術総合研究所と東京工業大学の研究チームは12月19日、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。米Metaが開発したLLM「Llama 2シリーズ」をベースに日本語能力を改善させたもの。... 続きを読む

AIの「LLaMa」が著作権を侵害したとしてMetaを訴えた作家らの主張がほとんど棄却される

2023/11/22 15 users Meta コメディアン 原告 筆頭 訓練

コメディアン、女優として知られるサラ・シルバーマン氏らを筆頭に3名の作家が著作権侵害でMetaを訴えた件で、AIの訓練に著作物を使用したのは著作権侵害に当たるという原告の主張を除き、すべての請求が棄却されました。 Court Grants Meta's Motion to Dismiss Claims in AI Lawsuit https://www.thefashionlaw.com/co... 続きを読む

GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果

2023/10/16 12 users ファインチューニング GPT Meta OpenAI 脱獄

大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すこ... 続きを読む

［速報］マイクロソフト、Metaの最新大規模言語モデル「Llama 2 」をAzureとWindowsでサポート。独自の生成的AIを開発可能に

2023/07/18 12 users Meta Azure マイクロソフト Windows ソース

オープンソースで商用利用も可能な大規模言語モデル Llama 2はこのマイクロソフトの発表とほぼ同時にMetaが発表した最新の大規模言語モデルです。 オープンソースとして公開され商用利用も可能で、AI分野で高い実績を残してきたMetaが満を持して公開するモデルとして高い能力を備えていることが期待されています。 Llama... 続きを読む

大規模言語モデルにウソの情報を埋め込んで誤った情報を生成させるチャットAI「PoisonGPT」が開発される

2023/07/10 18 users Meta OpenAI chatgpt GPT-4 ウソ

OpenAIのGPT-4やMetaのLLaMAなどの大規模言語モデルは、ChatGPTなどのチャットAIに用いられるなど、世界的に大きな評価を受けています。しかし、これらの大規模言語モデルには、学習時に使用されたデータやアルゴリズムを特定するためのソリューションが存在しないことが問題視されています。モデルのトレーニングを行う... 続きを読む

Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表

2023/06/22 179 users パラメーター phi-1 Microsoft LLM 発表

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット... 続きを読む

Metaの大規模言語モデル「LLaMA」がChatGPTを再現できる可能性があるとさまざまなチャットAI用言語モデルのベンチマーク測定で判明

2023/05/31 12 users パラメーター Meta エディンバラ大学 chatgpt 勢い

近年は機械学習分野の研究がめまぐるしい勢いで進んでおり、数十億を超えるパラメーターを持つ大規模言語モデルが相次いで発表されています。イギリス・エディンバラ大学の大規模言語モデル研究者であるヤオ・フー氏らの研究チームが、独自のベンチマークに基づいて複数の大規模言語モデルのパフォーマンスを比較した結... 続きを読む

StackLLaMA : RLHFでLLaMAを学習するための実践ガイド｜npaka

2023/05/27 11 users RLHF npaka Stack Exchange 学習 以下

以下の記事が面白かったので、簡単にまとめました。 ・StackLLaMA: A hands-on guide to train LLaMA with RLHF 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 ・SFT (Supervised Fine-tuning) : 教師ありファインチ... 続きを読む

LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース

2023/05/10 15 users パブリックプレビュー リリース チェックポイント ライセンス

OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。 今... 続きを読む

「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出

2023/05/08 30 users Meta OpenAI LLM 勝者 LaMDA

2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部... 続きを読む

対話型AIの学習に使われているGoogleのデータセット「C4」には4chanや白人至上主義者のサイトなど問題のあるコンテンツが大量に混入している

2023/04/20 11 users 白人至上主義者 対話型AI 4chan 学習 Google

Metaが2023年2月に公開した大規模言語モデル「LLaMA」を始めとするAIのトレーニングには、Googleが作成した巨大データセット「Colossal Clean Crawled Corpus(C4)」が使用されています。C4は名前の通り「クリーン」なデータで構成されているはずですが、海外メディア・The Washington PostとAI研究者の分析により、このC... 続きを読む

ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生（要約）

2023/03/18 39 users Meta GitHub LLM ラズパイ 派生

Raspberry Pi上で動かせる、GPT-3相当のLLM「Alpaca LoRA」ラズパイ上では1単語当たり10秒で生成GitHub上で公開中 続きを読む

ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生

2023/03/18 200 users Meta GitHub LLM ラズパイ 派生

関連記事 Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けにリリースした。「ChatGPT」のLLM「GPT-3.5」よりも小規模でも高性能としている。 Google、GPT競合のLLM「PaLM」のAPIを提供へ　生成系AIアプリ開発を支援 Go... 続きを読む

チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ

2023/03/14 12 users Meta Instagram Facebook 単体GPU

FacebookやInstagramの運営元であるMetaが開発した言語モデル「LLaMA」は、単体GPUで動作する手軽さとChatGPTに匹敵する性能を両立しているとして話題になっています。そんなLLaMAをApple シリコン搭載Macで動作可能にした「llama.cpp」をGUI付きで簡単に動作させられる「Dalai」が登場したので、実際にインストールして... 続きを読む

Metaの大規模言語モデル「LLaMA-65B」のデータが4chanで流出

2023/03/06 13 users Meta chatgpt GPU gpt-3 単体

Metaが2023年2月に発表した大規模言語モデル「LLaMA」はGPT-3と匹敵する性能を持ち、単体のGPUでも動作可能なほどに動作が軽いことから、コンシューマーレベルのハードウェア環境でもChatGPTのようなAIを動かせるようになることが期待されています。そんなLLaMAのデータが流出したと話題になっています。 Facebook LLAMA... 続きを読む

Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース

2023/02/25 21 users LLM Meta chatgpt 米Meta GPT-3.5

Metaは独自の大規模言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けにリリースした。「ChatGPT」のLLM「GPT-3.5」よりも小規模でも高性能としている。 米Metaは2月24日（現地時間）、独自の大規模言語モデル（LLM）の「LLaMA」（Large Language Model Meta AI）をリリースすると発表した。研究者向け... 続きを読む

Llama – Location Profiles : あなたの手間は取らせません！全自動化でスマホライフを更に快適に！無料Androidアプリ

2013/03/19 15 users 挙動 手間 会話 無料Androidアプリ スマホライフ

『Llama – Location Profiles』はスマホの様々な挙動を自動化することができる、全自動化アプリです！ …と言われても、何だかよくわからないですよね。「スマホって何が出来るの？」「いろいろ」という会話の、結局よくわからないまま終わってしまうあの気持ちに似ています… 続きを読む 続きを読む

無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表

2012/01/28 24 users チャットボット 実行 Meta ノートPC GitHub

GPT-3.5-TurboとMetaの大規模言語モデル「LLaMA」で学習したデータを用いた、ノートPCでも実行可能なチャットボット「GPT4ALL」をNomic AIが発表しました。さまざまなトピックの学習に用いられた質問と返答のペアのトレーニングデータセットもすべて公開されています。 GitHub - nomic-ai/gpt4all: gpt4all: a chatbot t... 続きを読む

Androidの設定を場所や状況に応じて自動的に変えられる賢いアプリ『Llama』 : ライフハッカー［日本版］

2011/05/23 55 users ライフハッカー バッテリー Check Tweet 残量 設定

Android , Google , その他 , フリーソフト Androidの設定を場所や状況に応じて自動的に変えられる賢いアプリ『Llama』 2011.05.23 18:00 コメント数：[ 0 ] Check Tweet Android：スマホの設定を場所やバッテリーの残量など、状況に応じて逐次変更するのは結構面倒なものです。『Llama』は、どこにいるのか、何時なのかなど、スマホの状態な... 続きを読む