0.5BパラメータのLLMを一から作ろうとして心が折れかけた話

2024/10/15 15 users LLM Transformer スクラッチ 反面 目的

この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるという... 続きを読む

ローカルLLMでbolt.newを動かしてみた

2024/10/15 17 users メインメモリ OSS版 とおり Mac Studio 概要

1. Mac Studio（M2 Ultra 128GB） # ollamaサーバ 2. Ubuntu 24.04.1 LTS (Core i5-8400 + メインメモリ 16GB) # bolt.new実行サーバ 概要 今回の記事では、ローカルLLMを用いてOSS版のbolt.newを動かしてみようと思います。目的としては、下記のとおりです。 何がすごいのかまったく理解できなかったbolt.newについて少... 続きを読む

R18成人向け文章も生成できる高性能ローカルAI「Command R+」最新版登場、プレイ画面をリアタイで画像生成できるゲームエンジン「GameNGen」など生成AI技術5つを解説（生成AIウィークリー） |

2024/09/02 17 users 生成AIウィークリー ドキュメント 論文 精度 生成AI技術

この1週間の気になる生成AI技術をピックアップして解説する「生成AIウィークリー」（第62回）では、主要LLMでは制限がかかるような内容でも精度高く出力できるローカルLLM「Command R+」の最新バージョンや、論文などのドキュメントとチャットできるAIインタフェース「kotaemon」を取り上げます。 続きを読む

最強ローカルLLM実行環境としてのEmacs

2024/08/04 180 users emacs Ollama みなさん 最大限 時代

みなさん、ローカルLLMで遊んでいますか？ 昨年末に、Ollamaが登場してから誰でも簡単にローカルLLMで遊べる時代がやってきました。そこで、僕もローカルLLMでどんなことができるんだろうと思って触りはじめたのですが、ローカルLLMを最大限に活用するためには、まずはどうやったらEmacsからローカルLLMを使えるようにな... 続きを読む

ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ

2024/07/19 107 users Rag VA Linux 外部記憶 エンジニアブログ 自分

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に... 続きを読む

ローカルLLMに小説を書いてもらう v2｜Kohya S.

2024/07/15 94 users Claude システマチック プロンプト リポジトリ 小説

この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取... 続きを読む

ローカルLLMでzoltraakを動かせるか検証してみた

2024/07/15 61 users LLM 元木さん 言語 要件定義書 興味

はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事... 続きを読む

【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来

2024/06/28 12 users マルチモーダル npaka 未来

Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation 続きを読む

【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】

2024/06/07 10 users

はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に... 続きを読む

最近ローカルLLMがアツいらしい

2024/05/20 954 users Twitter OpenAI Anthropic ウエイト

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのよう... 続きを読む

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

2024/04/24 146 users erukiti LLM Mac Studio メモリ 理由

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十... 続きを読む

Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。

2024/02/27 19 users Termux llama.cpp pic Linux 先駆者

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.... 続きを読む

ローカルLLMでRAGを実現する「Chat With RTX」を、RTX4060搭載ノートPCで動かす【イニシャルB】

2024/02/25 11 users Rag イニシャルB Chat with RTX

続きを読む

OpenAIのFunction callingで小説の解析をしてみる｜松xRのnote

2023/06/21 14 users OpenAI Discordサーバー チューニング 松xR

ローカルLLMのチューニングに奮闘されているsaldraさんが、ご自身が運営されているDiscordコミュニティに、Function callingのアイデアを募る投稿をされていました。サンプルコードも貼ってくださったので、早速試してみることにしました。 ローカルのAIから逃げずに立ち向かうDiscordサーバー、参加人数160人突破してま... 続きを読む

ローカルLLMの情報まとめ｜npaka

2023/06/11 27 users

4. RLHF (Reinforcement Learning from Human Feedback)4-1. 実践 続きを読む