LSTMとは

LSTMとは、RNN（再帰型ニューラルネットワーク）の一種で、長い系列データの中の離れた情報を「覚えておく」ことを得意にした仕組みのことです。正式名称はLong Short-Term Memory（長短期記憶）。普通のRNNが抱えていた「直前のことしか覚えられず、遠い情報を忘れてしまう」弱点を克服するために考え出されました。

忘れる・覚えるを調節する「ゲート」

普通のRNNは、文章を1語ずつ処理するうちに前半の内容を忘れてしまいがちでした。LSTMは内部に「記憶のメモ（セル状態）」と、それを出し入れする3つのゲート（入力・忘却・出力）を持ち、何を覚え、何を捨て、何を答えに使うかを調節します。これにより、長い文章の最初のほうに出た主語を、最後まで覚えておけるようになりました。「短期記憶を長持ちさせる」という名前は、ここから来ています。

いまはTransformerに主役を譲った

LSTMはSepp HochreiterとJürgen Schmidhuberが1997年に発表した、歴史あるモデルです。2017年に登場したTransformerは、文章を1語ずつ順に追うLSTMと違い、すべての単語をまとめて並列処理できたため、学習が速く大規模化に向いていました。そのため自然言語処理の主役はTransformerへ移っています。とはいえLSTMが消えたわけではなく、系列データを扱う場面では今も現役。文字を読み取るOCRエンジンの一部にも使われています。

LSTMに関するよくある質問

私たちはLSTMを使ったことがありますか？

知らないうちに使っています。いまの生成AIブームよりずっと前、2015〜2016年ごろのGoogle翻訳やGoogleの音声認識、iPhoneの予測変換（QuickType）を陰で支えていたのがLSTM（1997年発表）でした。AIは派手なブームの前から、目立たないところで静かに実用化されていたのです。

普通のRNNと何が違うのですか？

普通のRNNは文章を1語ずつ処理するうちに前半を忘れがちでした。LSTMは「記憶のメモ」と、それを出し入れする3つのゲート（入力・忘却・出力）を持ち、何を覚え何を捨てるかを調節して、長い文章の最初の情報も覚えておけます。

LSTMは今も使われていますか？

自然言語処理の主役は並列処理に強いTransformerへ移りましたが、LSTMが消えたわけではありません。系列データを扱う場面では今も現役で、文字を読み取るOCRエンジンの一部にも使われています。