MoBAとは
MoBAとは、長い文章を小さなブロックに分け、LLMが答えを作るときに見るべきブロックを選ぶアテンション機構です。すべてのページを毎回めくるのではなく、関係が深い棚だけを取り出すようにして、長文処理の重さを抑える設計。
英語表記：Mixture of Block Attention
MoEの考え方を注意先の選択へ移す
名前の通り、MoBAはMixture of Expertsの発想に近い構造を持ちます。MoEが「どの専門家に処理させるか」を選ぶのに対し、MoBAは「どの文章ブロックを見に行くか」を選ぶ仕組み。社内文書AIでいえば、関係しそうな部署のファイル棚へ先に向かう動きに近いでしょう。
ネイティブスパースアテンションやLinear Attentionと同じく、MoBAの狙いは長文コンテキストを安く広く扱うことにあります。ただし固定的に近くの文だけを見るのではなく、モデル自身に見る場所を選ばせる点が特徴。
Topic専門家のMixtureが文章ブロック選びに変わった
MoBAの論文は、Mixture of Expertsの原理をアテンションへ応用すると説明しています。専門家を呼び分ける発想が、ここでは文章のどの区画を読むかを選ぶ仕組みに変わる構図です。名前を見るだけで、MoE系の親戚だと分かる手がかりになります。
MoBAに関するよくある質問
- MoBAはMixture of Expertsそのものですか？
- そのものではありません。MoEは処理を担当する専門家モデルを選ぶ考え方で、MoBAはその発想を文章ブロックの選択に応用したアテンション手法です。
- MoBAが効くのはどんな場面ですか？
- 長い文脈から必要な箇所を探す処理に向きます。契約書、ログ、社内ナレッジのように情報量が多い用途では、読む範囲と計算量のバランスが判断点になります。
