M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama LLM 爆速 MacOS 推論

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

NovelAIを無料で動かす「NovelGUI」 - 基板ぽたぽた焼き

2022/10/20 106 users novelAI Git MEGA m(_ _)m 基板

「NovelGUI」はStable-diffusion-webui, naifu派生のNovelAIエミュレーター 特徴 PythonやCUDA、Gitの導入など不要。環境に応じたパラメータ調整は自動化しているのでインストールするだけで使えます。ローエンドGPUでもnaifuのように画像サイズを縮小することなく破綻の少ない出力が得られます。 ダウンロードリンク（v... 続きを読む

CUDAを一枚の絵にまとめてみた - OPTiM TECH BLOG

2019/08/15 103 users OPTiM TECH BLOG 一枚

まえがき 初めまして、R&Dチームの宮﨑です。趣味はFPSをやってます。150時間やってますが未だにドンかつを食べられていません。普段は深層学習のベンチマークを取ったりしています。 実はひと昔前からあった深層学習。近年実用性が増して一大ブームとなっています。実用的になった背景の一つとしてGPUを用いた高速化に... 続きを読む

機械学習 - Chainerで始めるニューラルネットワーク - Qiita

2015/09/24 224 users ニューラルネットワーク Chainer Qiita GPU

Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には... 続きを読む