StackLLaMA : RLHFでLLaMAを学習するための実践ガイド｜npaka

2023/05/27 11 users RLHF Stack Exchange 実践ガイド 学習 以下

以下の記事が面白かったので、簡単にまとめました。 ・StackLLaMA: A hands-on guide to train LLaMA with RLHF 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 ・SFT (Supervised Fine-tuning) : 教師ありファインチ... 続きを読む

LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース

2023/05/10 15 users パブリックプレビュー リリース チェックポイント ライセンス

OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。 今... 続きを読む

「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出

2023/05/08 30 users Meta OpenAI LLM 勝者 LaMDA

2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部... 続きを読む

対話型AIの学習に使われているGoogleのデータセット「C4」には4chanや白人至上主義者のサイトなど問題のあるコンテンツが大量に混入している

2023/04/20 11 users 白人至上主義者 対話型AI 4chan 学習 Google

Metaが2023年2月に公開した大規模言語モデル「LLaMA」を始めとするAIのトレーニングには、Googleが作成した巨大データセット「Colossal Clean Crawled Corpus(C4)」が使用されています。C4は名前の通り「クリーン」なデータで構成されているはずですが、海外メディア・The Washington PostとAI研究者の分析により、このC... 続きを読む

ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生（要約）

2023/03/18 39 users Meta GitHub LLM ラズパイ 派生

Raspberry Pi上で動かせる、GPT-3相当のLLM「Alpaca LoRA」ラズパイ上では1単語当たり10秒で生成GitHub上で公開中 続きを読む

ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生

2023/03/18 200 users Meta GitHub LLM ラズパイ 派生

関連記事 Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けにリリースした。「ChatGPT」のLLM「GPT-3.5」よりも小規模でも高性能としている。 Google、GPT競合のLLM「PaLM」のAPIを提供へ　生成系AIアプリ開発を支援 Go... 続きを読む

チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ

2023/03/14 12 users Meta Instagram Facebook 単体GPU

FacebookやInstagramの運営元であるMetaが開発した言語モデル「LLaMA」は、単体GPUで動作する手軽さとChatGPTに匹敵する性能を両立しているとして話題になっています。そんなLLaMAをApple シリコン搭載Macで動作可能にした「llama.cpp」をGUI付きで簡単に動作させられる「Dalai」が登場したので、実際にインストールして... 続きを読む

GPT-3のライバルとなるMetaの「LLaMA」をM1搭載Macで実行可能に、大規模言語モデルを普通の消費者向けハードウェアで実行可能であることが示される

2023/03/13 8 users Meta LLM gpt-3 OpenAI ライバル

日常生活でのAI(人工知能)の使用への関心が高まる中、OpenAIのGPT-3やMicrosoftのKosmos-1などの大規模言語モデル(LLM)が注目を浴びており、2023年2月にはMetaが新たなLLMである「LLaMA」を発表しました。このLLaMAはGPT-3よりも小さな規模でありながらGPT-3に匹敵する性能を単体GPUの環境でも示すことが可能ということ... 続きを読む

Metaの大規模言語モデル「LLaMA-65B」のデータが4chanで流出

2023/03/06 13 users Meta chatgpt GPU gpt-3 単体

Metaが2023年2月に発表した大規模言語モデル「LLaMA」はGPT-3と匹敵する性能を持ち、単体のGPUでも動作可能なほどに動作が軽いことから、コンシューマーレベルのハードウェア環境でもChatGPTのようなAIを動かせるようになることが期待されています。そんなLLaMAのデータが流出したと話題になっています。 Facebook LLAMA... 続きを読む

Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース

2023/02/25 21 users LLM Meta chatgpt 米Meta GPT-3.5

Metaは独自の大規模言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けにリリースした。「ChatGPT」のLLM「GPT-3.5」よりも小規模でも高性能としている。 米Metaは2月24日（現地時間）、独自の大規模言語モデル（LLM）の「LLaMA」（Large Language Model Meta AI）をリリースすると発表した。研究者向け... 続きを読む

Llama – Location Profiles : あなたの手間は取らせません！全自動化でスマホライフを更に快適に！無料Androidアプリ

2013/03/19 15 users 挙動 手間 会話 無料Androidアプリ スマホライフ

『Llama – Location Profiles』はスマホの様々な挙動を自動化することができる、全自動化アプリです！ …と言われても、何だかよくわからないですよね。「スマホって何が出来るの？」「いろいろ」という会話の、結局よくわからないまま終わってしまうあの気持ちに似ています… 続きを読む 続きを読む

無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表

2012/01/28 24 users チャットボット 実行 Meta ノートPC GitHub

GPT-3.5-TurboとMetaの大規模言語モデル「LLaMA」で学習したデータを用いた、ノートPCでも実行可能なチャットボット「GPT4ALL」をNomic AIが発表しました。さまざまなトピックの学習に用いられた質問と返答のペアのトレーニングデータセットもすべて公開されています。 GitHub - nomic-ai/gpt4all: gpt4all: a chatbot t... 続きを読む

Androidの設定を場所や状況に応じて自動的に変えられる賢いアプリ『Llama』 : ライフハッカー［日本版］

2011/05/23 55 users ライフハッカー バッテリー Check Tweet 残量 設定

Android , Google , その他 , フリーソフト Androidの設定を場所や状況に応じて自動的に変えられる賢いアプリ『Llama』 2011.05.23 18:00 コメント数：[ 0 ] Check Tweet Android：スマホの設定を場所やバッテリーの残量など、状況に応じて逐次変更するのは結構面倒なものです。『Llama』は、どこにいるのか、何時なのかなど、スマホの状態な... 続きを読む