RNN(アールエヌエヌ)とは

RNNとは、文章や音声のように「順番に意味がつながったデータ」を扱うのが得意な、ニューラルネットワークの一種です。Recurrent Neural Network（再帰型ニューラルネットワーク）の略で、前の情報を「記憶」として次の処理へ持ち越す仕組みを持っています。

記憶を持ち越して順番に読む

RNNの特徴は、一つ前の状態（隠れ状態）を、次のステップの入力として戻して使う点にあります。文章を前から一語ずつ読み、それまでの流れを覚えながら次の語を処理していく。人が文章を左から右へ読み進めるのに近いイメージでしょう。この「記憶」のおかげで、前後の文脈が大事な情報も扱えるようになりました。

Transformerに主役を譲るまで

ただ、RNNには弱点もありました。文章が長くなると、前半の情報が薄れてしまう「勾配消失」という問題です。これを和らげたLSTMという改良版が長く使われましたが、2017年に登場したTransformerが、文章を一度に並列処理できる強みで主役の座を引き継ぎました。いまの大規模言語モデルの多くはTransformer型です。とはいえRNNも、計算が軽くリアルタイム処理に向くため、現在も使いどころが残っています。

RNNに関するよくある質問

RNNは他のニューラルネットワークと何が違うのですか？

一つ前の状態（隠れ状態）を次のステップへ戻して使い、前の情報を「記憶」として持ち越す点です。文章を前から一語ずつ読み、それまでの流れを覚えながら次の語を処理する、人が文章を左から右へ読むのに近いやり方で、順番に意味がつながる文章や音声を扱うのが得意です。

RNNはなぜ主役の座を譲ったのですか？

文章が長くなると前半の情報が薄れる「勾配消失」という弱点がありました。改良版のLSTMが長く使われましたが、2017年に登場し文章を一度に並列処理できるTransformerが主役を引き継ぎました。ただRNNも計算が軽くリアルタイム処理に向くため、今も使いどころが残っています。

改良版「LSTM」とは何ですか？名前の意味は？

RNNの弱点である勾配消失を和らげた改良版です。Long Short-Term Memory＝直訳すると「長い短期記憶」という一見矛盾した名前ですが、「短期記憶をできるだけ長く保てるよう設計した」という意味で、前の情報をどこまで覚え、どこで忘れるかを賢く調整します。