llama.cppでGGUF形式のモデルファイルを読み込み、チャットする｜Kohya S.

2025/01/21 5 users llama.cpp CUDA チャット モデルファイル 前提

はじめにこの記事では、llama.cppを使ってGGUF形式のモデルファイルを読み込み、チャットする方法を簡単に説明します。 GGUFは、モデルファイルの保存形式のひとつです。GGUFに限らず、llama.cppが対応しているモデル形式なら、同様に使えると思います。 環境OSはWindows 10/11、CUDAがインストールされていることを前提... 続きを読む

Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ

2024/10/16 6 users Ollama デフォルト リポジトリ名 形式 ユーザー名

tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは G... 続きを読む

Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した｜shi3z

2023/10/06 9 users JSON形式 クイズ shi3z prompt ins

高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。 とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう >>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS] ... 樋口 真嗣（ひ... 続きを読む