xLSTMとは
xLSTMとは、古典的なAIアーキテクチャであるLSTMを、現代的に拡張した方式です。LSTMの発明者として知られるSepp Hochreiter氏らが2024年5月に公開しました。指数ゲーティングと記憶構造の改良を加え、大規模なモデルでも通用するよう作り直した一作。
英語表記：Extended Long Short-Term Memory
Transformerに挑む古典の現代版
では、古い方式に何の勝算があるのでしょうか。LSTMは文章のような連続したデータを扱うのが得意でしたが、Transformerの登場で主役を譲っていました。xLSTMは記憶の持ち方を2通り(スカラー型のsLSTM、並列計算できる行列型のmLSTM)に拡張し、弱点を補います。大規模化したとき、最先端のTransformerやState Space Modelと性能・スケーリングで肩を並べると論文は主張しました。主流とは別系統の選択肢を示した点に意味があるでしょう。
Topic生みの親による、約30年ごしの再登板
LSTMは1990年代に登場した古い方式で、ChatGPTの一般公開(2022年11月30日)よりずっと前から使われてきました。Transformerに主役を譲っていたこの仕組みを、生みの親であるSepp Hochreiter本人が約30年後に自ら大改造し、現代の土俵へ呼び戻したのがxLSTMです。”再登板”という構図が印象的でしょう。
xLSTMに関するよくある質問
- xLSTMとState Space Modelは何が違いますか？
- どちらもTransformerに代わる効率的な系列処理を狙いますが、State Space Modelは制御理論に由来し、xLSTMはLSTMの記憶のしくみを拡張した点で出自が異なります。
- xLSTMはすでに広く使われていますか？
- 2024年5月に公開された比較的新しい方式で、Transformerが主流の状況は続いています。効率的な代替案の研究として注目される段階です。
