Mamba(マンバ)とは

Mambaとは、Transformerに代わりうる、長い文章を効率よく扱うために考案されたAIの基盤構造（アーキテクチャ）のことです。状態空間モデルと呼ばれる仕組みをもとにしており、生成AIの土台となる技術の一つです。

長くなっても重くなりにくい

いまの生成AIの主流であるTransformerは、文中のすべての言葉どうしを照らし合わせて意味をとらえます。仕組みは強力ですが、文章が長くなるほど計算量が急に膨らむのが弱点です。Mambaはこれと違い、文章が長くなっても計算量がほぼ比例してしか増えないように設計されています。必要な情報を選んで持ち越す工夫により、長い文章を軽く速く処理できます。

登場時期と使われ方

Mambaは2023年12月に、大学の研究者によって発表されました。発表時には、Transformerと比べて推論の処理が数倍速いとうたわれています。その後、Mambaの考え方をTransformerと組み合わせたモデルも登場しました。前出のJambaや、一部のFalconがその例です。長文を扱う場面が増えるなかで、効率の良い土台として研究が進んでいます。

Mambaに関するよくある質問

Transformerとは何が違うのですか？

Transformerは文中のすべての言葉どうしを照らし合わせるため強力ですが、文章が長くなるほど計算量が急に膨らむ弱点があります。Mambaは状態空間モデルという別の仕組みで、必要な情報を選んで持ち越すことで、文章が長くなっても計算量がほぼ比例してしか増えないよう設計されています。

Mambaはいつ登場し、どう使われていますか？

2023年12月に大学の研究者によって発表され、Transformerより推論が数倍速いとうたわれました。その後、Mambaの考え方をTransformerと組み合わせたモデルも登場し、JambaやFalconの一部がその例です。

なぜMambaが注目されたのですか？

近年の生成AIの基盤はTransformer一色と見られてきましたが、Mambaはまったく別系統の数学（状態空間モデル）でも肩を並べられると示しました。長い文章ほど効率の差が出るため、Transformerの弱点を突く対抗馬として研究が一気に広がりました。