簡単にGPUメモリの内容を盗めてしまう「LeftoverLocals」脆弱性、セキュリティ研究者が警鐘／Apple、AMD、Qualcomm、Imaginationなどに影響、各社対策を表明

2024/01/17 13 users Imagination Qualcomm AMD 表明 脆弱性

続きを読む

Apple・Qualcomm・AMDのGPUからAIとの会話が漏洩する不具合「LeftoverLocals」が発見される

2024/01/17 7 users AMD GPU プロセス 会話 セキュリティ会社

セキュリティ会社のTrail of Bitsが、Apple・Qualcomm・AMDのGPU上のプロセスによって作成されたGPUメモリからデータを復元することを可能にする脆弱(ぜいじゃく)性「LeftoverLocals(CVE-2023-4969)」についての調査結果を公表しました。 LeftoverLocals https://leftoverlocals.com/ New Flaw in Apple, AMD, and Qualc... 続きを読む

再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development

2023/09/26 9 users Development pfn 再計算 最適化 MN-Core

私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター GPT-2 gpt-3 メモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users CyberAgent Transformers LoRa

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能

2023/02/23 481 users chatgpt Bard OpenAI 再現 トレーニング

OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開してい... 続きを読む

【後藤弘茂のWeekly海外ニュース】容量32GB・1.36TB/secのGPUメモリを実現する第2世代HBM2 - PC Watch

2018/03/05 25 users ＳＥＣ 後藤弘茂 Weekly海外ニュース PC Watch

転送レートをさらに引き上げる新バージョンのHBM2 　近い将来のハイエンドコンピューティングGPUやメニイコアプロセッサのメモリは、ピーク帯域が1TB/sec超に達し、容量は32GBがあたり前となり、帯域あたりの消費電力はさらに下がる。スタックドDRAM「HBM(High Bandwidth Memory)」の進化によって、ハイエンドのコンピューティングデバイスのメモリは、さらに一段進歩する。 　... 続きを読む

gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ

2017/11/12 45 users KaiGai CUDA ワークロード asia SQL

2017 - 11 - 12 gstore_fdw: GPUメモリをSQLで読み書き、そして…。 GPU PostgreSQL 昨年、PGconf. ASIA で発表したPL/CUDAによる 創薬 ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測した ベンチマーク を見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」... 続きを読む

【後藤弘茂のWeekly海外ニュース】来年ラッシュとなる新メモリ「HBM2」の採用 - PC Watch

2015/08/05 41 users 後藤弘茂 HBM2 Weekly海外ニュース 新メモリ 採用

後藤弘茂のWeekly海外ニュース 来年ラッシュとなる新メモリ「HBM2」の採用 （2015/8/6 06:00） GPUメモリは来年(2016年)のHBM2で1TB/secに GPUのメモリ帯域が急ピッチに上がりつつある。昨年(2014年)のハイエンドGPUは300GB/secの帯域だったのが、今年(2015年)は「Radeon R9 FURY(Fiji)」でメモリ帯域は512GB/secに上が... 続きを読む