LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

2024/04/24 146 users erukiti LLM Mac Studio メモリ 理由

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十... 続きを読む

メタデータラボ株式会社、日本最大のLLMコミュニティ『ローカルLLMに向き合う会』へGPU/HPCサーバーを無償提供

2024/03/06 7 users GaN GPU 無償提供 生成モデル 日本最大

メタデータラボ株式会社、日本最大のLLMコミュニティ『ローカルLLMに向き合う会』へGPU/HPCサーバーを無償提供 【メタデータラボ株式会社とは】 2018年6月からGPU/HPCサーバーの開発、製造、販売を開始しており、「GAN」などの生成モデルの研究を進めており、2021年5月からGPU/HPCサーバーを稼働させられる高負荷データ... 続きを読む

Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。

2024/02/27 19 users Termux llama.cpp pic Linux 先駆者

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.... 続きを読む

ローカルLLMでRAGを実現する「Chat With RTX」を、RTX4060搭載ノートPCで動かす【イニシャルB】

2024/02/25 11 users Rag イニシャルB Chat with RTX

続きを読む

ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高

2023/11/05 9 users swap GPU rinna Python メモリ

GPUがなくてもRinnaいけました。メモリさえ合計32GBあればなんとかなります。ZramやZwapつかって圧縮しても良いです。日本語ローカルLLMはやっぱりいいですね。高性能ハイエンドPCは動かすだけならいらないです。初心者向けの解説を入れました。 続きを読む

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】

2023/08/28 8 users GUI ファインチューニング プロンプト GPU CPU

概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあ... 続きを読む

OpenAIのFunction callingで小説の解析をしてみる｜松xRのnote

2023/06/21 14 users OpenAI Discordサーバー チューニング 松xR

ローカルLLMのチューニングに奮闘されているsaldraさんが、ご自身が運営されているDiscordコミュニティに、Function callingのアイデアを募る投稿をされていました。サンプルコードも貼ってくださったので、早速試してみることにしました。 ローカルのAIから逃げずに立ち向かうDiscordサーバー、参加人数160人突破してま... 続きを読む

ローカルLLMの情報まとめ｜npaka

2023/06/11 27 users

4. RLHF (Reinforcement Learning from Human Feedback)4-1. 実践 続きを読む