Jamba(ジャンバ)とは

Jambaとは、イスラエルのAI21 Labsが開発した、種類の違う2つの技術を組み合わせたハイブリッド構造の大規模言語モデルのことです。いまの生成AIの主流であるTransformerに、Mambaという別系統の技術を混ぜている点が特徴です。

2つの技術を1つに混ぜる

多くの言語モデルはTransformerという仕組みだけで作られています。Jambaは、これにMamba（状態空間モデルと呼ばれる別系統の技術）を組み合わせました。さらに、必要な専門家だけを働かせる混合エキスパートの考え方も取り入れています。長い文章を、速く、少ないメモリで処理できることを狙った設計です。一度に扱える文章量も多く、長文の読み込みに向きます。

登場時期と提供形態

初代Jambaは2024年3月に発表され、重みを公開するApache 2.0のオープンウェイトとして提供されました。抱えるパラメータは総520億、実際に動くのは約120億です。その後、企業での利用に向けた改良版も出ています。主流とは別の作り方で性能を引き出そうとする、研究の方向性を示すモデルの一つです。

Jambaに関するよくある質問

JambaはふつうのTransformerモデルと何が違いますか？

多くの言語モデルがTransformerだけで作られるのに対し、JambaはそこにMamba（状態空間モデルという別系統の技術）を組み合わせたハイブリッド構造です。さらに必要な専門家だけを働かせる混合エキスパートも取り入れ、長い文章を速く・少ないメモリで処理できることを狙っています。

Jambaは誰でも使えるのですか？いつ登場しましたか？

初代Jambaは2024年3月にイスラエルのAI21 Labsが発表し、重みを公開するApache 2.0のオープンウェイトとして提供されました。抱えるパラメータは総520億・実際に動くのは約120億で、その後、企業での利用に向けた改良版も出ています。

なぜ2つの技術を混ぜるのですか？

Mambaは長い文章を軽く扱えるかわりに前に出た細かい情報を正確に思い出すのが苦手で、逆にTransformerは思い出すのが得意でも長くなるほど計算とメモリが重くなります。Jambaは両者を1つのモデルに混ぜ、互いの弱点を補わせました。1種類で押し切らず長所を組み合わせる、ハイブリッド車のような発想です。