BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録

2020/04/10 19 users Bert moriyama PyTorch 推論速度 量子化

こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装さ... 続きを読む

論文紹介: Differentiable reasoning over a virtual knowledge base

2020/02/27 19 users 論文紹介 ニューラルネットワーク 森山 直人 関心

論文紹介: Differentiable reasoning over a virtual knowledge base 1. 論文紹介： DIFFERENTIABLE REASONING OVER A VIRTUAL KNOWLEDGE BASE 2. 自己紹介 - 森山 直人（@vimmode) - MNTSQ株式会社で自然言語処理を担当 - ニューラルネットワークを活用する自然言語処理に関心がつよいです 3. 本論文のポイント - 質問... 続きを読む

自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録

2020/01/24 21 users Bert デファクトスタンダード moriyama 複雑さ

はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、Colabや... 続きを読む