M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama LLM 爆速 MacOS 推論

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

NovelAIを無料で動かす「NovelGUI」 - 基板ぽたぽた焼き

2022/10/20 106 users novelAI Git MEGA m(_ _)m 基板

「NovelGUI」はStable-diffusion-webui, naifu派生のNovelAIエミュレーター 特徴 PythonやCUDA、Gitの導入など不要。環境に応じたパラメータ調整は自動化しているのでインストールするだけで使えます。ローエンドGPUでもnaifuのように画像サイズを縮小することなく破綻の少ない出力が得られます。 ダウンロードリンク（v... 続きを読む

CUDAを一枚の絵にまとめてみた - OPTiM TECH BLOG

2019/08/15 103 users OPTiM TECH BLOG 一枚

まえがき 初めまして、R&Dチームの宮﨑です。趣味はFPSをやってます。150時間やってますが未だにドンかつを食べられていません。普段は深層学習のベンチマークを取ったりしています。 実はひと昔前からあった深層学習。近年実用性が増して一大ブームとなっています。実用的になった背景の一つとしてGPUを用いた高速化に... 続きを読む

深層学習用ライブラリを自作して二足歩行を学習させてみた – EL-EMENT blog

2018/06/30 94 users WebGL 二足歩行 ライブラリ ツッコミ 経緯

WebGLとCUDAで動く深層学習用のライブラリを作って深層強化学習 (Deep Deterministic Policy Gradient, DDPG) で二足歩行を学習させました。学習環境の作成にはOimoPhysicsを使いました。 開発の経緯や以下実装方法、学習結果などです。例によって怪しい個所へのツッコミは歓迎です。 >> Open Repository on GitHub これ... 続きを読む

機械学習 - Chainerで始めるニューラルネットワーク - Qiita

2015/09/24 224 users ニューラルネットワーク Qiita Chainer GPU

Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には... 続きを読む

PythonでCUDAに入門する - norio’s Blog

2011/11/13 98 users GPGPU NVIDIA GPU Python CPU

CUDA, PyCuda, Python はじめに最近、CUDAの勉強を始めました。CUDAとは、一言で説明すると「NVIDIAが提供するGPGPUの開発環境」です。CUDAを利用することでGPUによるマルチスレッド計算をとても簡単に行うことができます。GPUの強みは大規模なスレッド計算であり、CPUのみ場合と比較して十数倍から数十倍の高速化が期待できるようです。 なぜPythonかCUDAの専用... 続きを読む