計算時間とメモリの壁を打破！Transformerの次世代モデルReformer

2023/09/01 9 users Transformer attention 打破 log 要点

3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by N... 続きを読む

Google、小説を全て処理できるAI翻訳「Reformer」発表 | AMP[アンプ] - ビジネスインスピレーションメディア

2020/01/23 22 users AMP Transformer アンプ AI翻訳 小説

Googleが、従来のAI翻訳「Transformer」より、さらに長い文脈を理解できるAI翻訳「Reformer」を発表した。 Reformerは、現在機械翻訳において主流となっているAIモデルTransformerのシステムの課題であるメモリ消費と長文の翻訳精度の問題を解決し、100万ワードの文章を翻訳することが可能になった新しいAIモデル。 また... 続きを読む