RWKVについて解説

2023/08/17 14 users Transformer RNN アーキテクチャ 解説 手法

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？

2023/07/09 16 users Bard 制約 chatgpt 従来 限界

ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデ... 続きを読む

シングルGPUで動作するTransformer相当のRNNモデル　RWKV-Raven-14Bを試してみた | DevelopersIO

2023/04/10 7 users DevelopersIO LLM シングルGPU こんち 中村

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention... 続きを読む

"RWKV_CUDA_ON"を1に設定してRWKVを高速化する - Qiita

2023/04/08 11 users Qiita LLM ドキュメント 環境変数 性能

ローカル環境でも高速で動作するLLMとして話題のRWKVですが、ドキュメントを見ていると環境変数の"RWKV_CUDA_ON"を1に設定することでより高速で動くということなので試してみました。 設定を変更するときに１箇所エラーで躓いたところがあったのでそちらも記録しておきます。 RWKVとは RWKVとはTransformerレベルの性能... 続きを読む

RWKVをローカルPCで動かす（pyenv/Docker）

2023/03/30 7 users Docker pyenv ローカルPC

OSはLinuxです。WindowsのWSL2で動かしている人もいるので、多分動くと思います。Linux/Windows(WSL2)のセットアップに関しては、以下記事参照ください。 CPUのみでも動かせるようですが、メモリが大量にいります。メインメモリが少なければ、とりあえずキャッシュ領域をアホほど（100GBとか）増やしておけば動くようで... 続きを読む

Google Colab で RWKV を試す｜npaka｜note

2023/03/27 10 users RNN VRAM npaka｜note プレミア 節約

「Google Colab」で「RWKV」を試したので、まとめました。 【注意】「RWKV」のチャットデモを実行するには、「Google Colab Pro/Pro+」の「プレミア」が必要です。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、無限の文脈長、自由な埋め込みを実現していま... 続きを読む