RWKV(アールダブリューケーブイ)とは
RWKVとは、Transformerの「学習の速さ」と、RNN(再帰型ニューラルネット)の「推論の軽さ」を組み合わせたAIのアーキテクチャ(設計方式)です。有志のコミュニティが中心となり、2023年5月に論文が公開されました。
英語表記：Receptance Weighted Key Value（R・W・K・V）
長い文章でも重くなりにくい
Transformerは学習を一気に並列で進められる反面、文章が長くなるほど計算とメモリが急に膨らむ弱点があります。RWKVは学習はTransformerのように並列で速く、文章を読むときはRNNのようにメモリ・計算が一定に保たれる設計です。長い入力でも処理が重くなりにくいため、省メモリでの運用に向くと期待されています。論文では14億をはるかに超える規模まで拡大し、同程度のTransformerと並ぶ性能を示しました。
TopicTransformer全盛の時代に、あえてRNNを大きく育て直した
Transformerが主流になり、古い方式とみなされがちだったRNN。RWKVはそのRNNを現代的に作り直し、14Bパラメータという「これまでで最大級の密なRNN」にまで育てました。大手研究所ではなく有志コミュニティが主導した点も珍しく、「主流とは別の道でも戦える」ことを示した挑戦的な研究でしょう。
RWKVに関するよくある質問
- RWKVはTransformerを置き換えるのですか？
- 置き換えを目指す代替案の一つですが、Transformerが主流である状況は2023年時点で変わっていません。長文を軽く扱える特性を生かせる場面での選択肢と捉えるのが現実的です。
- RWKVは何の略ですか？
- Receptance Weighted Key Value の頭文字で、内部の計算で使う4つの要素(R・W・K・V)を表します。略語だけでは中身が分かりにくいため、展開を知っておくと役立ちます。
