ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews 開発者ブログ

2017/03/08 491 users ニューラルネットワーク SmartNews GaN 進展 推論

こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研... 続きを読む