MLAとは

MLAとは、LLMが長い文脈を扱うときの記憶置き場を小さくするためのアテンション方式です。DeepSeek-V2で採用されたMulti-head Latent Attentionの略で、過去の文章を参照するためのKVキャッシュ、つまり過去の計算メモを潜在ベクトルへ圧縮します。たとえるなら、会議の全発言録を毎回持ち歩く代わりに、要点カードを薄く持つ設計です。

MLAの仕組み

通常のアテンションでは、長い文章を生成するほど、過去のキーとバリューを保存する量が大きくなります。MLAはこの保存情報を低次元の潜在表現、つまり小さくまとめた記憶メモへ変えます。DeepSeek-V2論文では、KVキャッシュを93.3%削減し、最大生成スループットを5.76倍にしたと報告されました。長文対応の裏側で、記憶メモを圧縮する工夫といえるでしょう。

GQAやMHAとの違い

MHAは複数の頭で細かく見る基本形、GQAはキーとバリューをいくつかのグループで共有して軽くする方法です。MLAはさらに、保存する情報そのものを圧縮する方向に寄ります。速度だけでなく、同時処理数や長文処理のコストに効きやすい発想。ただしDeepSeek系で目立った設計であり、すべてのLLMが同じ方式を使うわけではありません。

導入判断で見るべき点

経営者が見るべきなのは、モデル名の派手さよりも、推論時の費用と待ち時間です。長い社内文書を読ませる、同時に多くの問い合わせを処理する、履歴を保持した会話を続ける。このような用途では、アテンションの省メモリ化が運用費の差として表れます。調達時は「長文が読めるか」だけでなく、どの程度のコストで回せるかまで確認したいところでしょう。

MLAに関するよくある質問

MLAとGQAは何が違いますか？

GQAはキーとバリューをグループで共有して軽くする方法です。MLAは保存する情報を潜在表現へ圧縮する方向で、長文処理時の記憶量をさらに抑える狙いがあります。

MLAがあるモデルなら必ず安く使えますか？

必ずとは言えません。実際の費用はモデル規模、提供事業者の料金、同時処理数、使う文脈の長さで変わります。MLAは省メモリ化に効く設計の一つとして見るのが安全です。

MLAはDeepSeek専用の用語ですか？

DeepSeek-V2で目立って紹介された方式ですが、考え方自体は効率的なアテンション設計の文脈で議論されています。本文ではDeepSeek-V2論文で確認できる範囲に限定して説明しています。