日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

2024/04/10 11 users Qiita LLM 日本語LLM 相関 度合い

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） と... 続きを読む

BitNetから始める量子化入門

2024/03/03 67 users deeplearning 話題 ところ

はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので... 続きを読む

Text generation web UI で Xwin-LM-13B-V0.1-GPTQ を試す。｜さいぴ

2023/09/23 17 users Text generation さい Web UI 圧勝 僅差

この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が... 続きを読む

BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録

2020/04/10 19 users Bert PyTorch moriyama vimmode

こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装さ... 続きを読む

Idein Ideas — 量子化について

2019/01/29 28 users Idein Ideas idein クリスチャン 信号処理

ideinのクリスチャンです。機械学習周りの研究開発を担当しています。 edge-computing で機械学習と言えば、量子化を利用して処理を加速する人は多いと思われます。（n.b.: 現時点の Actcast で量子化は利用されてませんが） この記事では量子化アプローチとこの開発ノウハウをざっと紹介します。 量子化とは信号処理等... 続きを読む

ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews 開発者ブログ

2017/03/08 491 users ニューラルネットワーク SmartNews GaN 進展 推論

こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研... 続きを読む

MIT、磁気を利用した遠隔冷却機構を考案 ～磁石を使ってPCを冷却 - PC Watch

2014/07/29 56 users MIT 磁石 磁気 冷却 考案

ニュース MIT、磁気を利用した遠隔冷却機構を考案 ～磁石を使ってPCを冷却 （2014/7/29 15:06） 米マサチューセッツ工科大学(MIT)の研究者らは28日(現地時間)、磁力を利用して遠隔から物体を冷却する理論を発表した。 これは、結晶格子中の電子のスピンの構造を量子化した準粒子であるマグノンを利用したもので、研究グループはマグノンの移動に関する2つの新しい方程式を考案し、そこからマグ... 続きを読む