ローカルLLMの小説生成能力を評価する：中規模モデル編｜Kohya S.

2025/02/07 12 users ローカルLLM LLM クラウ 量子化 近年

中規模モデルクラス、恋愛小説部門の評価です。 はじめに近年、ローカル環境で動作する比較的小規模なLLM（Large Language Model）の性能が向上しています。本記事では、パラメータ数20～30B程度のローカルLLM（量子化を行うと24GB VRAM程度で動作するもの）を中心に、それらのLLMの小説生成能力を、より大規模なクラウ... 続きを読む

llama.cppでGGUF形式のモデルファイルを読み込み、チャットする｜Kohya S.

2025/01/21 5 users llama.cpp GGUF CUDA チャット 前提

はじめにこの記事では、llama.cppを使ってGGUF形式のモデルファイルを読み込み、チャットする方法を簡単に説明します。 GGUFは、モデルファイルの保存形式のひとつです。GGUFに限らず、llama.cppが対応しているモデル形式なら、同様に使えると思います。 環境OSはWindows 10/11、CUDAがインストールされていることを前提... 続きを読む

SDXLでコピー機学習法を試す｜Kohya S.

2023/09/10 8 users LoRa SDXL 手法 過学習 コピー機

はじめにコピー機学習法は、LoRAを教師画像と同様の画像しか出力されないレベルまで過学習し（コピー機と呼ばれる理由です）、そこから目的のLoRAを取り出す手法です。詳細は以下の月須和・那々氏の記事をご覧ください。 今回、SDXLでコピー機学習法を試してみました。品質的にはいまひとつですが、一応成功はしましたの... 続きを読む