M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama LLM 爆速 MacOS 推論

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

AI分野でのNVIDIA一強状態を崩すためにIntel・Google・富士通・Armなどが参加する業界団体がCUDA対抗のAI開発環境を構築中

2024/03/26 25 users ARM NVIDIA GPU Intel 富士通

NVIDIAはAI開発に使われるGPUで大きなシェアを獲得しているほか、ソフトウェア開発および実行環境「CUDA」もAIの開発現場で広く採用されています。そんなNVIDIAの一人勝ち状態に対抗するべく、Intelや富士通、Google、Armなどのテクノロジー企業が参加する業界団体「Unified Acceleration Foundation(UXL Foundation)」... 続きを読む

NVIDIAがCUDAを他のハードウェア上で実行することを禁止

2024/03/05 24 users NVIDIA EULA コンピューティングプラットフォーム

NVIDIAが、GPU向けのコンピューティングプラットフォームとして提供している「CUDA」のソフトウェア利用許諾契約(EULA)の中で、翻訳レイヤーを通じてNVIDIA以外のハードウェアプラットフォームで実行することを禁止していることがわかりました。もともとこの条項はNVIDIAのサイト上で公開されているオンライン版のEULAに... 続きを読む

Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判

2024/02/20 26 users ZENマイクロアーキテクチャ NVIDIA 生みの親 too

AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | T... 続きを読む

NVIDIAはなぜAI用途で独走中？牙城は崩せるか

2023/12/07 12 users 牙城 NVIDIA Transformer AI用途 独走中

主にAI処理用途での先行者利益と性能の良さで採用が拡大している。2006年からGP（汎用）GPU開発環境「CUDA」を展開する。TransformerはNVIDIAのGPUを前提に設計した。 先行者利益─。米NVIDIAがAI半導体市場で独走する大きな理由の1つである。同社は2006年からCUDA（Compute Unified Device Architecture）を公開し、いち... 続きを読む

Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。

2023/09/23 5 users Open Interpreter スペック バックエンド

はじめに 前回の記事でXwin-LM-70B-V0.1とLlama-2-70Bの出力結果の比較を行いました。この記事ではOpen InterpreterのバックエンドとしてXwin-LM-70B-V0.1を使ってみます。 私のPCのスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-pythonをCUDAを有効にしてインストールする。 sudo apt install -y build-e... 続きを読む

CUDA 10.xのDockerイメージをローカルでビルドする - Qiita

2023/08/01 10 users Qiita EOL NVIDIA Dockerイメージ これら

1. はじめに https://hub.docker.com/r/nvidia/cudaを見るとわかるようにEOLとなったCUDAバージョンのDockerイメージが削除されています。ただし、Web上にある公開実装ではCUDA 10.x系のDockerイメージを使っていることがあり、これらの動作確認をするときに困ります。 幸いにもDockerイメージ作成環境はhttps://gitlab.... 続きを読む

Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

2023/06/25 15 users WSL GPU LLM nownab.log 推論

はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語... 続きを読む

NovelAIを無料で動かす「NovelGUI」 - 基板ぽたぽた焼き

2022/10/20 106 users novelAI Git MEGA m(_ _)m 基板

「NovelGUI」はStable-diffusion-webui, naifu派生のNovelAIエミュレーター 特徴 PythonやCUDA、Gitの導入など不要。環境に応じたパラメータ調整は自動化しているのでインストールするだけで使えます。ローエンドGPUでもnaifuのように画像サイズを縮小することなく破綻の少ない出力が得られます。 ダウンロードリンク（v... 続きを読む

オープンソースのニューラルネットワーク向けプログラミング言語「Triton」をOpenAIが公開 - GIGAZINE

2021/07/30 21 users Triton GIGAZINE OpenAI NVIDIA

NVIDIAが開発・提供するGPU向けの汎用並列コンピューティングプラットフォームである「CUDA」を超える生産性と高速コード記述が可能になるようなオープンソースのニューラルネットワーク向けプログラミング言語「Triton」が公開されました。非常に効率的なカスタムディープラーニングプリミティブを作成するための言語コ... 続きを読む

NVIDIAのコンピューティングプラットフォーム「CUDA」がWSLで利用可能に - GIGAZINE

2020/06/19 5 users コンピューティングプラットフォーム GIGAZINE 計算

2020年6月17日にリリースされたWindows 10 Insider Previewの最新バージョン「Build 20150」にて、WSLがNVIDIAのコンピューティングプラットフォーム「CUDA」をサポートしました。この機能強化により、Linuxのみに対応している計算ソフトや専門的なツールを、WSL上で動作させることが可能になります。 Announcing CUDA o... 続きを読む

GPUで高速化が簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみた - Qiita

2019/11/21 29 users Qiita デパ GPU 標準API 調子

GPUで高速化が簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみた この記事は何？ CUDA123 に代わる新しい GPU の 標準API 、OpenACC が最近 CUDA よりも高速という結果4が出てきて調子が良いので、現状のヘテロジニアス環境でのマルチデバイス実行（複数のデバ... 続きを読む

CUDAを一枚の絵にまとめてみた - OPTiM TECH BLOG

2019/08/15 103 users OPTiM TECH BLOG 一枚

まえがき 初めまして、R&Dチームの宮﨑です。趣味はFPSをやってます。150時間やってますが未だにドンかつを食べられていません。普段は深層学習のベンチマークを取ったりしています。 実はひと昔前からあった深層学習。近年実用性が増して一大ブームとなっています。実用的になった背景の一つとしてGPUを用いた高速化に... 続きを読む

CUDAがArmに対応へ、主要CPUアーキテクチャをカバー - MONOist（モノイスト）

2019/07/09 9 users ARM MONOist NVIDIA フルスタック カバー

NVIDIAは、同社の並列コンピューティングアーキテクチャ「CUDA」がArm CPUに対応すると発表した。CUDA-X AIやHPCソフトウェアのフルスタックを、年内にArmのエコシステムで利用できるようにする。 NVIDIAは2019年6月17日、同社の並列コンピューティングアーキテクチャ「CUDA」がArm CPUに対応すると発表した。600以上の... 続きを読む

NVIDIA、CUDAやAIフレームワークなどをArm CPUに対応 - PC Watch

2019/06/18 12 users NVIDIA AIフレームワーク ARM CPU

続きを読む

NVIDIA、CUDAのArm対応を発表 | マイナビニュース

2019/06/17 28 users NVIDIA プロファイラ ARM対応 ARM フルスタック

NVIDIAは6月17日(独時間)、 NVIDIA CUDA-X AIやHPCライブラリ、GPUアクセラレーテッドAIフレームワーク、ならびにOpenACC対応のPGIコンパイラおよびプロファイラといった、ソフトウェア開発ツールを含む600以上のNVIDIAのAIおよびHPCソフトウェアのフルスタックを、2019年末までにArmのエコシステムで利用できるようにす... 続きを読む

対決！RTX 2080Ti SLI vs Google Colab TPU ～Keras編～ - Qiita

2019/05/14 20 users Qiita Colab TPU GPU CPU

RTX 2080Tiを2枚買ったので、どれぐらいの性能が出るかColabのTPUと対決させてみました。さすがにRTX 2080Tiを2枚ならTPU相手に勝てると思っていましたが、意外な結果になりました。 スペック GPU側 GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 Te... 続きを読む

AI半導体の王者・NVIDIAを襲うインテル、AMD、グーグル包囲網 ── それでもNVIDIAが強い理由 | BUSINESS INSIDER JAPAN

2019/04/07 15 users NVIDIA AMD インテル AI半導体 グータ

半導体メーカーのNVIDIA（エヌビディア）は3月17〜21日、テクノロジーイベント｢GPU Technology Conference 2019（GTC 19）｣を、アメリカ・サンノゼで開催した。 GTCは2008年に開催された｢NVISION｣というイベントが初回で、元々はコンピューターグラフィックスをテーマに始まった。その後、NVIDIAが｢CUDA｣（クーダ）と呼... 続きを読む

NVIDIA、AI/RTXなどのライブラリをまとめた「CUDA-X」でCUDAを拡張 - PC Watch

2019/03/19 15 users RTX NVIDIA ライブラリ 拡張 PC Watch

続きを読む

深層学習用ライブラリを自作して二足歩行を学習させてみた – EL-EMENT blog

2018/06/30 94 users WebGL 二足歩行 ライブラリ ツッコミ 経緯

WebGLとCUDAで動く深層学習用のライブラリを作って深層強化学習 (Deep Deterministic Policy Gradient, DDPG) で二足歩行を学習させました。学習環境の作成にはOimoPhysicsを使いました。 開発の経緯や以下実装方法、学習結果などです。例によって怪しい個所へのツッコミは歓迎です。 >> Open Repository on GitHub これ... 続きを読む

gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ

2017/11/12 45 users KaiGai ワークロード asia SQL 読み書き

2017 - 11 - 12 gstore_fdw: GPUメモリをSQLで読み書き、そして…。 GPU PostgreSQL 昨年、PGconf. ASIA で発表したPL/CUDAによる 創薬 ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測した ベンチマーク を見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」... 続きを読む

NVIDIA、仮想GPUでCUDAを使用可能にした「GRID 5.0」 ～Windows 10は描画負荷増大で仮想GPUが必須に - PC Watch

2017/11/07 46 users Infrastructure VDI NVIDIA GPU

Tesla P100 　 NVIDIA は11月7日、都内にて同社の仮想化GPUソリューションに関する説明会を開催した。 　NVIDIAはGPUのリソースを分割して、仮想的に複数のPC上で利用可能にするための技術として「NVIDIA GRID」を提供しており、今回は最新版となる「GRID 5.0」や、Windows 10のVDI(Virtual Desktop Infrastructure)でのG... 続きを読む

NVIDIA、最上位GPU「TITAN Xp」を発表--3840基のCUDAコア搭載 - CNET Japan

2017/04/07 10 users NVIDIA 最上位GPU CNET Japan コア 発表

NVIDIAは、最上位のグラフィックカードを2017年のスピード感に合わせようと、高性能ゲーミングGPU「TITAN X」を、「CUDA」コアを増やしてメモリ帯域幅も拡大した「TITAN Xp」にアップデートした。TITAN Xpはすでに、TITAN Xに代わる製品ラインの1つとなっている。 CUDAコア数をTITAN Xの3584から3840に増やしたTITAN Xpは、処理できるスレッド数が多... 続きを読む

ビルド職人になるために覚えたコマンドメモ - ainameの日記

2017/03/01 43 users コマンドメモ ffmpeg ainame OpenCV たまー

2017 - 03 - 01 ビルド職人になるために覚えたコマンドメモ ここ2年ぐらい ffmpeg とか opencv とか Ruby + CUDAみたいなやつ とか たまーにビルド職人になることがあって上手く コンパイル するために各種コマンドを使うことがあるのだけど、 使い方はおろか、普段あんまり使わないのでコマンド名すら忘れることが多々あるためコマンド名とか使い時を覚えている限りざっくりメ... 続きを読む

More modern gpu

2015/12/03 37 users Preferred Infrastructure PFI

More modern gpu 1. More  Modern  GPU 岡野原 　⼤大輔 hillbig@preferred.jp Preferred  Networks,  Inc. Preferred  Infrastructure,  Inc. 12/3 2015　PFI/PFN 全体セミナー 2. GPU/CUDAについて l  GPU/CUDAは近年年⼤大きな成功を収めている –  ... 続きを読む