ローカルLLMの小説生成能力を評価する：中規模モデル編｜Kohya S.

2025/02/07 12 users ローカルLLM LLM クラウ 量子化 近年

中規模モデルクラス、恋愛小説部門の評価です。 はじめに近年、ローカル環境で動作する比較的小規模なLLM（Large Language Model）の性能が向上しています。本記事では、パラメータ数20～30B程度のローカルLLM（量子化を行うと24GB VRAM程度で動作するもの）を中心に、それらのLLMの小説生成能力を、より大規模なクラウ... 続きを読む