Ollama で structured outputs （構造化出力）を試す｜ぬこぬこ

2024/12/07 55 users

tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コード... 続きを読む

第841回　ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する | gihyo.jp

2024/12/04 11 users Alpaca ローカルLLM gihyo.jp LLM

Ubuntu Weekly Recipe 第841回ローカルLLMの実行ツール「Ollama」のGUIフロントエンド⁠⁠、Alpacaを使用して生成AIを使用する 今回は、ローカルLLMの実行ツール「Ollama」のフロントエンド、Alpacaを紹介します。 Alpacaとは Ollamaに関しては第825回で紹介しました。そこではフロントエンドとして、Open WebUIを使いまし... 続きを読む

Ollamaで体験する国産LLM入門

2024/10/20 136 users

近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりや... 続きを読む

Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ

2024/10/16 6 users デフォルト リポジトリ名 形式 ユーザー名 モデル

tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは G... 続きを読む

最強ローカルLLM実行環境としてのEmacs

2024/08/04 180 users emacs ローカルLLM みなさん 最大限 時代

みなさん、ローカルLLMで遊んでいますか？ 昨年末に、Ollamaが登場してから誰でも簡単にローカルLLMで遊べる時代がやってきました。そこで、僕もローカルLLMでどんなことができるんだろうと思って触りはじめたのですが、ローカルLLMを最大限に活用するためには、まずはどうやったらEmacsからローカルLLMを使えるようにな... 続きを読む

「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita

2024/06/28 65 users Qiita 仮名 はしもと KDDIアジャイル開発センター

はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での... 続きを読む

DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2

2024/05/27 5 users Dify ローカルLLM LLMエージェント エージェント

この記事では、DifyとOllamaを使用してローカルLLMを構築し、複数のLLMエージェントを設定してAIが社会に与える影響について議論を行い、その結果を記事として生成する手順について説明します。 前提条件 Ollamaをローカル環境で起動しておく必要があります。起動方法については、こちらを参照してください。 Download O... 続きを読む

M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users LLM 爆速 CUDA MacOS 推論

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

Fugaku-LLMをollamaで利用する

2024/05/11 8 users Fugaku-LLM LLM 国産LLM WSL上 手順

国産LLMであるFugaku-LLMが2024-05-10に公開されました。 LLMのチャットアプリとしてインストールが簡単で人気のollamaに、Fugaku-LLMのモデルを登録して使うことができたので、その手順を紹介します。 動作確認環境 OS Ubuntu 22.04 Desktop および WSL上のUbuntu-22.04 ollama v0.1.34 （2024-05-10時点の最新バージョ... 続きを読む

Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす

2024/05/01 19 users LLM Docker ラズパイ Raspberry Pi 以下

ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマ... 続きを読む

さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場

2023/10/21 98 users Mistral チャットAI 公式Dockerイメージ 登場

「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-ava... 続きを読む