MNTSQからみらい翻訳に転職しました - moriyamaのエンジニアリング備忘録

2020/12/24 8 users MNTSQ mnt エンジニアリング備忘録 みらい翻訳 主力

2020年11月末でMNTSQ株式会社を退職し、2020年12月より株式会社みらい翻訳に入社しました。 MNTSQは自然言語処理技術を主力とした法務領域向けプロダクトを展開するスタートアップです。みらい翻訳は機械翻訳プロダクトを提供している会社で、どちらも自然言語処理技術をコアとしたプロダクトを作っている会社です。 MNT... 続きを読む

GPT-3の学習データはどのように作られたか - moriyamaのエンジニアリング備忘録

2020/10/09 27 users gpt-3 エンジニアリング備忘録 学習データ

OpenAIが発表した言語モデルGPT-3はパフォーマンスの高さから各方面で注目されており、ついにはMicrosoftが学習済みモデルの利用を独占化しました。 私個人の所感としてこれまで学習済みモデルは無料公開するという流れを無視し、（アーキテクチャではなく）学習済みモデルが商品化するのはAIビジネスの一つの転換期と感... 続きを読む

flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録

2020/07/10 18 users コーディング タスク 深層学習 単語分割 ベクトル化

自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習... 続きを読む

BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録

2020/04/10 19 users Bert vimmode PyTorch 推論速度 量子化

こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装さ... 続きを読む

自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録

2020/01/24 21 users Bert デファクトスタンダード vimmode MNTSQ

はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、Colabや... 続きを読む