大規模言語モデルのための強化学習｜npaka｜note

2023/04/24 9 users 強化学習 言語モデル LLM chatgpt RLHF

以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いまし... 続きを読む

Google Colab で GPT4ALL を試す｜npaka｜note

2023/04/05 5 users gpt4all Google Colab Colab 対話

「Google Colab」で「GPT4ALL」を試したのでまとめました。 1. GPT4ALL「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAIです。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabノートブックを開く。 (2) Googleドライブのマウント。 Colabイン... 続きを読む

Google Colab で RWKV を試す｜npaka｜note

2023/03/27 10 users RWKV RNN VRAM Google Colab プレミア

「Google Colab」で「RWKV」を試したので、まとめました。 【注意】「RWKV」のチャットデモを実行するには、「Google Colab Pro/Pro+」の「プレミア」が必要です。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、無限の文脈長、自由な埋め込みを実現していま... 続きを読む

ChatGPTプラグイン の作成方法｜npaka｜note

2023/03/25 169 users ChatGPTプラグイン 作成方法 メタデータ ファ API

1. ChatGPTプラグインの作成手順「ChatGPTプラグイン」の作成手順は、次のとおりです。 (1) APIの実装 (2) マニフェストファイルの作成 (3) OpenAPIドキュメントの作成 2. マニフェストファイルの作成2-1. マニフェストファイルの基本構成「マニフェストファイル」は、「ChatGPTプラグイン」のメタデータを記述するファ... 続きを読む

ChatGPTプラグイン の概要｜npaka｜note

2023/03/23 431 users ChatGPTプラグイン 概要 OpenAI chatgpt

「OpenAI」の「ChatGPTプラグイン」の記事が面白かったので、かるくまとめました。 ・Chat Plugins - OpenAI API ・ウェイトリスト 1. ChatGPTプラグイン「OpenGPTプラグイン」は、「ChatGPT」をサードパーティのアプリケーションに接続するためのプラグインです。「ChatGPT」は、開発者によって定義されたAPIと対話し、... 続きを読む

GitHub Copilot の使い方｜npaka｜note

2023/03/06 50 users GitHub Copilot プログラマ エディタ 人工知能

「GitHub Copilot」を使ってみたので、まとめました。 1. GitHub Copilot「GitHub Copilot」は、人工知能のペアプログラミングシステムです。人工知能 (OpenAI Codex) がコードの候補を提案することにより、プログラマがより迅速に少ない作業でコードを書けるようにサポートします。 サポートするエディタは、次の4つで... 続きを読む

ChatGPT API の使い方｜npaka｜note

2023/03/01 335 users ChatGPT API OpenAI chatgpt 使い方

「OpenAI」の 記事「Chat completions」が面白かったので、軽くまとめました。 1. ChatGPT API「ChatGPT」は、OpenAIの最も先進的な言語モデルである「gpt-3.5-turbo」を搭載しています。「OpenAI API」から「gpt-3.5-turbo」を使用して独自アプリケーションを作成できます。 ・メールや文章のドラフト ・Pythonコードの... 続きを読む

Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka｜note

2023/02/22 10 users ファインチューニング パラメータ 少数 パッケージ コスト

1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをフ... 続きを読む

Google Colab で GPT-NEOX-20B による日本語テキスト生成を試す｜npaka｜note

2023/01/28 11 users Google Colab プレミアム オープンソース 注意

Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。 【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200... 続きを読む

GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note

2023/01/14 12 users LangChain 簡単作成 専門知識 チャットボット 準備

「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめ... 続きを読む