Google Colab で Llama 3 のファインチューニングを試す ｜npaka

2024/04/22 8 users ファインチューニング Meta Colab とおり 動作

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノー... 続きを読む

Command R の 概要｜npaka

2024/04/05 5 users LLM Rag Embedding Cohere Tool

以下の記事が面白かったので、簡単にまとめました。 ・Command R: Retrieval-Augmented Generation at Production Scale 1. Command R「Command R」は、「RAG」や「Tool」などの長いコンテキストタスク向けに最適化されたLLMです。CohereのEmbeddingおよびRerankと連携して動作するように設計されており、RAGアプリケー... 続きを読む

OpenAI Sora の 概要｜npaka

2024/02/16 5 users OpenAI Sora 概要

以下の記事が面白かったので、簡単にまとめました。 ・Sora 1. Sora「Sora」は、テキスト指示から現実的で想像力に富んだシーンを作成できる、Text-to-Videoモデルです。 OpenAIでは、人々が現実世界の相互作用を必要とする問題を解決するのに役立つ学習モデルを目標に、動いている物理的な世界を理解してシミュレートす... 続きを読む

Google Colab で LLaMA-Factory を試す｜npaka

2024/01/02 12 users WebUI LLM Google Colab 動作 とおり

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。 サポートするモデルは、次のとおりです。 サポートする学習法... 続きを読む

Gemini Pro のリリースの概要｜npaka

2023/12/13 10 users ベンチマーク Gemini API 最初 バージョン モデル

以下の記事が面白かったので、かるくまとめました。 ・It’s time for developers and enterprises to build with Gemini Pro 1. Gemini Pro のリリースの概要「Gemini Pro」の最初のバージョンが、「Gemini API」を介してアクセスできるようになりました。 ・「Gemini Pro」は、ベンチマークで他の同様のサイズのモデル... 続きを読む

Google Colab で Gemini Pro を試す｜npaka

2023/12/13 18 users 実行Colab Gemini API テキスト生成 とおり

「Google Colab」で「Gemini Pro」を試したので、まとめました。 1. Gemini Pro「Gemini Pro」は、Googleの最新AIモデルの1つです。「Gemini Pro」の最初のバージョンが、「Gemini API」で利用できるようになりました。 3. テキスト生成の実行Colabでのテキスト生成の実行手順は、次のとおりです。 (1) パッケージのイン... 続きを読む

LangChain への OpenAIのRAG戦略の適用｜npaka

2023/11/17 11 users OpenAI LangChain 適用

以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自... 続きを読む

OpenAI の Assistant Playground の Code Interpreter を試す｜npaka

2023/11/12 26 users OpenAI Code Interpreter ファ グラフ

「OpenAI」の 「Assistant Playground」の「Code Interpreter」を試したので、まとめました。 前回 1. Code Interpreter「Code Interpreter」は、アシスタントがサンドボックス実行環境でPythonコードを作成および実行できるツールです。さまざまなデータと形式を含むファイルを処理し、データとグラフの画像を含むファ... 続きを読む

Google Colab で OpenAI API の Code Interpreter を試す｜npaka

2023/11/11 8 users Python タスク API AIアシスタント 前回

「Google Colab」で「OpenAI API」の「Code Interpreter」を試したので、まとめました。 前回 1. Code Interpreter「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Python... 続きを読む

LangChain クイックスタートガイド - Python版｜npaka

2023/11/03 28 users LLM models クイックスタートガイド Python版

Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったこと... 続きを読む

大規模モデルを単一GPUで効率的に学習する方法｜npaka

2023/10/02 13 users LLM スループット 大規模モデル パフォーマンス サンプル

A以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化す... 続きを読む

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka

2023/09/22 8 users GPT-4 ベンチマーク Google Colab 動作 1位

「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用し... 続きを読む

GitHub Copilot Chat の使い方｜npaka

2023/09/21 7 users GitHub vscode GitHub Copilot

2. GitHub Copilot Chatの開始「GitHub Copilot Chat」の開始手順は、次のとおりです。 (1) 「GitHub Copilot」のセットアップ。 「GitHub Copilot」のセットアップが必要です。 (2) VSCodeの拡張機能で「GitHub Copilot Chat」をインストール。 (3) チャットタブが追加されるので、クリック。 (4) チャットのメッセージ... 続きを読む

Streamlit 入門｜npaka

2023/09/06 42 users

「Streamlit」の使い方をまとめました。 1. Streamlit「Streamlit」は、機械学習およびデータサイエンスのためのWebアプリケーションフレームを簡単に作成して共有できるPythonライブラリです。 2. HelloWorldの作成HelloWorldの作成手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 (2) パッケージのインストー... 続きを読む

LLMのファインチューニング で 何ができて 何ができないのか｜npaka

2023/08/28 134 users ファインチューニング LLM OpenAI ファイン 出力

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファイン... 続きを読む

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka

2023/08/26 53 users OpenAI Colab LlamaIndex 蒸留 ベース

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」... 続きを読む

OpenAI API の ファインチューニングガイド｜npaka

2023/08/23 301 users OpenAI API

1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されてお... 続きを読む

Google Colab で Japanese StableLM Alpha を試す｜npaka

2023/08/10 5 users 日本語LLM Google Colab ベンチマーク 動作

「Google Colab」で「Japanese StableLM Alpha」を試したので、まとめました。 【注意】Google Colab Pro/Pro+ のA100で動作確認しています。 1. Japanese StableLM Alpha「Japanese StableLM Alpha」は、「Stability AI Japan」は70億パラメータの日本語LLMです。ベンチマーク「lm-evaluation-harness」による複数の日... 続きを読む

Google Colab で Llama 2 + LangChain の RetrievalQA を試す｜npaka

2023/07/31 6 users Colab LangChain 実行Colab ハード とおり

「Google Colab」で「Llama 2 + LangChain」の RetrievalQA を試したのでまとめました。 1. 使用モデル今回は、「Llama-2-7b-chat-hf」(4bit量子化)と埋め込みモデル「multilingual-e5-large」を使います。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハード... 続きを読む

HuggingFace での Llama 2 の使い方｜npaka

2023/07/19 5 users HuggingFace LLM Meta パラメータ 使い方

以下の記事が面白かったので、軽くまとめました。 ・Llama 2 is here - get it on Hugging Face 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 長いコンテキスト長 (4,000トークン) や、70B モデルの高速推論のためのグループ化されたクエリアテンションなど、「Llama 1」と比べて大幅... 続きを読む

Llama.cpp で Llama 2 を試す｜npaka

2023/07/19 7 users LLM llama.cpp Meta HuggingFace

「Llama.cpp」(llama-cpp-python)で「Llama 2」を試したので、まとめました。 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 3. モデル一覧「Llama.cpp」を利用するには、「Llama 2」モデルをGGML形式に変換する必要があります。HuggingFaceには、変換済みのモデルも公開されています。... 続きを読む

GitHub Copilot Labs の使い方｜npaka

2023/07/15 85 users GitHub Copilot フラッシュアップ 翻訳 言語

1. GitHub Copilot Labs「GitHub Copilot Labs」は、「GitHub Copilot」の実験的な機能を提供するVSCode拡張です。 以下の機能を提供しています。 ・コードの説明 ・コードを別の言語に翻訳 ・コードのブラッシュアップ ・読みやすさの向上 ・型の追加 ・バグ修正 ・デバッグコードの追加・削除 ・コードをステップ毎に... 続きを読む

OpenAI API の 関数呼び出し を試す｜npaka

2023/06/14 6 users chatgpt LangChain リリ 関数呼び出し 関数

「OpenAI API」の新機能「関数呼び出し」を試したので、まとめました。 1. 関数呼び出し「関数呼び出し」は、「ChatCompletion」(ChatGPTで使われてるモデルを利用するOpenAI API) に関数の情報を指定することで、モデルが必要に応じて、その関数を実行できるようになる機能です。 (LangChainのTool的な) 6月13日にリリ... 続きを読む

『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』 が発売になります。｜npaka

2023/06/02 14 users chatgpt LangChain AITuber しくみ

この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを... 続きを読む

StackLLaMA : RLHFでLLaMAを学習するための実践ガイド｜npaka

2023/05/27 11 users Llama RLHF Stack Exchange 学習 以下

以下の記事が面白かったので、簡単にまとめました。 ・StackLLaMA: A hands-on guide to train LLaMA with RLHF 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 ・SFT (Supervised Fine-tuning) : 教師ありファインチ... 続きを読む