Google Colab で Llama 3 のファインチューニングを試す ｜npaka

2024/04/22 8 users ファインチューニング Meta Colab npaka とおり

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノー... 続きを読む

Google Colab で LLaMA-Factory を試す｜npaka

2024/01/02 12 users npaka WebUI LLM Google Colab 動作

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。 サポートするモデルは、次のとおりです。 サポートする学習法... 続きを読む

Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka

2023/09/22 8 users npaka GPT-4 ベンチマーク 動作 モデル

「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用し... 続きを読む

Google Colab で Japanese StableLM Alpha を試す｜npaka

2023/08/10 5 users npaka 日本語LLM Google Colab 動作 複数

「Google Colab」で「Japanese StableLM Alpha」を試したので、まとめました。 【注意】Google Colab Pro/Pro+ のA100で動作確認しています。 1. Japanese StableLM Alpha「Japanese StableLM Alpha」は、「Stability AI Japan」は70億パラメータの日本語LLMです。ベンチマーク「lm-evaluation-harness」による複数の日... 続きを読む

Google Colab で RWKV を試す｜npaka｜note

2023/03/27 10 users RWKV RNN VRAM npaka｜note 高速推論

「Google Colab」で「RWKV」を試したので、まとめました。 【注意】「RWKV」のチャットデモを実行するには、「Google Colab Pro/Pro+」の「プレミア」が必要です。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、無限の文脈長、自由な埋め込みを実現していま... 続きを読む

Google Colab で GPT-NEOX-20B による日本語テキスト生成を試す｜npaka｜note

2023/01/28 11 users npaka｜note Google Colab プレミアム

Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。 【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200... 続きを読む

背面に3眼カメラとディスプレイ搭載 ── シャオミの Mi 11 Ultra がスマホを再定義 - Engadget 日本版

2021/04/30 8 users シャオミ フラッグシップ 背面 ファーウェイ 無印

2021年3月末、多数の新製品を発表したシャオミの衝撃的な新製品発表会から1か月以上が過ぎました。例年であればファーウェイがフラッグシップカメラフォンを発表する時期ですが、今年登場予定とされた「P50」は4月になっても発表されません。 例年、ファーウェイは「無印」「Pro」「Pro+」という3つのフラッグシップに加... 続きを読む