0.5BパラメータのLLMを一から作ろうとして心が折れかけた話

2024/10/15 15 users LLM Transformer スクラッチ 反面 目的

この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるという... 続きを読む

ローカルLLMでbolt.newを動かしてみた

2024/10/15 17 users メインメモリ OSS版 とおり Mac Studio 概要

1. Mac Studio（M2 Ultra 128GB） # ollamaサーバ 2. Ubuntu 24.04.1 LTS (Core i5-8400 + メインメモリ 16GB) # bolt.new実行サーバ 概要 今回の記事では、ローカルLLMを用いてOSS版のbolt.newを動かしてみようと思います。目的としては、下記のとおりです。 何がすごいのかまったく理解できなかったbolt.newについて少... 続きを読む

R18成人向け文章も生成できる高性能ローカルAI「Command R+」最新版登場、プレイ画面をリアタイで画像生成できるゲームエンジン「GameNGen」など生成AI技術5つを解説（生成AIウィークリー） |

2024/09/02 17 users 生成AIウィークリー ドキュメント 論文 精度 生成AI技術

この1週間の気になる生成AI技術をピックアップして解説する「生成AIウィークリー」（第62回）では、主要LLMでは制限がかかるような内容でも精度高く出力できるローカルLLM「Command R+」の最新バージョンや、論文などのドキュメントとチャットできるAIインタフェース「kotaemon」を取り上げます。 続きを読む

【KARAKURI LM 10本ノック】番外編： Chrome内蔵のローカルLLMで「どこでもCopilot」を作ってみた

2024/08/22 5 users COPILOT ユーザスクリプト LLM サジェスト 吉田

本記事中で紹介しているユーザスクリプト「どこでもCopilot」。ChromeビルトインのLLMで、任意のフォーム上で文章の続きをサジェスト。外部通信なし、無料で動作こんにちは、カラクリR&Dの吉田です。今回は、10本ノック「番外編」ということで、Google Chrome の最新版に本日(2024–08–22)組み込まれたローカルLLMの話を... 続きを読む

雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog

2024/08/20 6 users 底力 JSONデータ IIJ Engineers Blog

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます... 続きを読む

最強ローカルLLM実行環境としてのEmacs

2024/08/04 180 users emacs Ollama みなさん 最大限 時代

みなさん、ローカルLLMで遊んでいますか？ 昨年末に、Ollamaが登場してから誰でも簡単にローカルLLMで遊べる時代がやってきました。そこで、僕もローカルLLMでどんなことができるんだろうと思って触りはじめたのですが、ローカルLLMを最大限に活用するためには、まずはどうやったらEmacsからローカルLLMを使えるようにな... 続きを読む

ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ

2024/07/19 107 users Rag VA Linux 外部記憶 エンジニアブログ 自分

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に... 続きを読む

ローカルLLMに小説を書いてもらう v2｜Kohya S.

2024/07/15 94 users Claude システマチック プロンプト リポジトリ 小説

この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取... 続きを読む

ローカルLLMでzoltraakを動かせるか検証してみた

2024/07/15 61 users LLM 元木さん 言語 要件定義書 興味

はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事... 続きを読む

【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来

2024/06/28 12 users マルチモーダル npaka 未来

Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation 続きを読む

【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】

2024/06/07 10 users

はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に... 続きを読む

DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2

2024/05/27 5 users Ollama Dify LLMエージェント エージェント 議論

この記事では、DifyとOllamaを使用してローカルLLMを構築し、複数のLLMエージェントを設定してAIが社会に与える影響について議論を行い、その結果を記事として生成する手順について説明します。 前提条件 Ollamaをローカル環境で起動しておく必要があります。起動方法については、こちらを参照してください。 Download O... 続きを読む

最近ローカルLLMがアツいらしい

2024/05/20 954 users Twitter OpenAI Anthropic ウエイト

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのよう... 続きを読む

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

2024/04/24 146 users erukiti LLM Mac Studio メモリ 理由

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十... 続きを読む

メタデータラボ株式会社、日本最大のLLMコミュニティ『ローカルLLMに向き合う会』へGPU/HPCサーバーを無償提供

2024/03/06 7 users GaN GPU 無償提供 生成モデル 日本最大

メタデータラボ株式会社、日本最大のLLMコミュニティ『ローカルLLMに向き合う会』へGPU/HPCサーバーを無償提供 【メタデータラボ株式会社とは】 2018年6月からGPU/HPCサーバーの開発、製造、販売を開始しており、「GAN」などの生成モデルの研究を進めており、2021年5月からGPU/HPCサーバーを稼働させられる高負荷データ... 続きを読む

Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。

2024/02/27 19 users Termux llama.cpp pic Linux 先駆者

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.... 続きを読む

ローカルLLMでRAGを実現する「Chat With RTX」を、RTX4060搭載ノートPCで動かす【イニシャルB】

2024/02/25 11 users Rag イニシャルB Chat with RTX

続きを読む

ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高

2023/11/05 9 users swap GPU rinna Python メモリ

GPUがなくてもRinnaいけました。メモリさえ合計32GBあればなんとかなります。ZramやZwapつかって圧縮しても良いです。日本語ローカルLLMはやっぱりいいですね。高性能ハイエンドPCは動かすだけならいらないです。初心者向けの解説を入れました。 続きを読む

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】

2023/08/28 8 users GUI ファインチューニング ローカルAI プロンプト GPU

概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあ... 続きを読む

OpenAIのFunction callingで小説の解析をしてみる｜松xRのnote

2023/06/21 14 users OpenAI Discordサーバー チューニング 松xR

ローカルLLMのチューニングに奮闘されているsaldraさんが、ご自身が運営されているDiscordコミュニティに、Function callingのアイデアを募る投稿をされていました。サンプルコードも貼ってくださったので、早速試してみることにしました。 ローカルのAIから逃げずに立ち向かうDiscordサーバー、参加人数160人突破してま... 続きを読む

ローカルLLMの情報まとめ｜npaka

2023/06/11 27 users

4. RLHF (Reinforcement Learning from Human Feedback)4-1. 実践 続きを読む