Qwen Sparse Attention(キューウェン・スパース・アテンション)とは
Qwen Sparse Attentionとは、長い文脈の全部を毎回均等に計算せず、軽量な検索係が重要と判定した部分に絞って注目するQwen独自のAIモデル技術です。長文の「どこを読むか」を先に選び、後段の計算を減らすことをねらいます。
英語表記：Qwen Sparse Attention (QSA)
2026年8月28日時点では、Qwen3.8-Flash-Nextで初めて公開された新しい構造です。Qwenは同モデルを、将来のQwen4を支えるアーキテクチャの実験的プレビューと位置付けています。QSAという単独サービスがあるのではなく、モデル内部で情報を混ぜる仕組みの一部です。
4トークンずつまとめて、必要な場所を探す
アテンション機構は、その時点の言葉と過去のどの言葉が関係するかを測る仕組みです。通常のフルアテンションは広く見渡せる反面、文章や作業履歴が長くなるほど、比較する組み合わせが急増。QSAがここに置くのが、軽量なインデクサーです。長い書籍の索引から目的の章を先に探す役に近いでしょう。
先に文脈を4トークンずつの「マイクロブロック」へ圧縮。トークンとは、AIが文を処理する細かな単位です。インデクサーはブロックごとの重要度を見積もり、後段の本格的な計算に渡す場所を選択。一語ずつ探す前に、小さなまとまりで候補を絞ることで、検索係自体の負担も抑える設計です。
Qwen3.8-Flash-Nextの公開設定では、1回の問い合わせで最大512ブロック、合計2,048トークンを選択します。また、48層の中でGated DeltaNet(GDN)を3層、QSAを1層の順に組み合わせ、それを12回繰り返す構成。GDNがこれまでの流れを圧縮して記憶し、QSAが必要な原文位置を拾い直す役割分担です。
他のスパースアテンションとの違い
スライディングウィンドウアテンションは、主に現在地の近くを見る方式です。本の今読んでいるページの前後を調べるイメージで、局所的なつながりを扱うのに向きます。QSAは軽量インデクサーを使い、現在地から離れた場所も含めて関連度の高いブロックを選びます。
DeepSeek Sparse Attentionも、インデクサーで重要な範囲を絞る技術系統です。QSAの独自性は、同じ層の内部でマイクロブロックへ圧縮し、インデクサーの計算量も下げる点にあります。「一部だけ読む」という結果は似ていても、どの範囲を、どの単位で、どの負担で選ぶかという違いがあります。
長文AIのコストと応答時間にどう影響する？
技術報告の比較対象は、約100万トークンの文脈で、密なGrouped-Query Attention(GQA)と比べたアテンション用カーネルの速度です。入力を読み込むプリフィルで7.6倍、文字を出すデコードで4.9倍でした。技術報告によれば、速度差が出始めるのは6万4千トークン程度の文脈からで、短い問い合わせでは効果が見えません。またこれは、超長文を使ったモジュール単体の実験値です。モデル全体や通常の会話が常に同じ倍数で速くなる、と読み替えてはいけません。
企業で効果を確かめるには、契約書束、調査資料、長期の作業履歴など、自社が実際に使う長さの入力を用意。同じハードウェアと出力条件で、応答時間、1件あたりのコスト、必要な記述を見つけられた率を比べます。推論基盤がQSA専用カーネルに対応していなければ、設計上の利点をそのまま得られないこともあります。
「選ぶ」ことで生じる見落としへの備え
スパースアテンションは、注意を向ける場所を減らす代わりに、選ばれなかった情報をそのステップでは直接参照しません。公式の比較実験では、短文能力の平均や長文検索でフルアテンションと同等以上の結果が報告されました。ただし「同等以上」は絞っても落ちないという意味であって、扱える長さの限界まで正確に読めるという意味ではありません。技術報告の長文検索テスト（MRCR）では、100万トークンの文脈での正答率はフルアテンションが20.71%、QSAでも26.44%にとどまります。自社の少数例、表の細かい例外、履歴の遠い依存関係まで保たれる保証にはなりません。
導入テストでは、答えの位置を文書の冒頭、中央、末尾へ動かし、表記揺れや似た候補を増やします。単に正解するかだけでなく、根拠の場所を返せるかも確認。モデルの世代、量子化、推論エンジン、コンテキスト長を記録しなければ、更新後の結果と比較できません。
TopicQSAは、いきなり「読む量」を減らして学習しない
Qwen Sparse Attentionに関するよくある質問
- Qwen Sparse Attentionを含む公開モデルの重みは取得できますか？
- QwenはQwen3.8-Flash-Nextのモデル重みと構成ファイルをHugging Faceで公開しています。使用前には、公開ライセンスの条件と必要な計算資源を確認します。
- Qwen Sparse Attentionを動かせる推論ツールは限定されますか？
- 公式モデルカードは、Transformers、vLLM、SGLang、TokenSpeedなどとの互換性を案内しています。対応と実際の高速化幅は別なので、最新版と自社ハードウェアで実測します。
- QSAの速度差は入力が短いときも同じですか？
- 技術報告のカーネル計測では、64Kトークンから高速化が現れ、文脈が長いほど差が大きくなりました。短い会話で超長文と同じ倍率になるとは限りません。
- QSAの選択結果はすべての層で共有されますか？
- QSAは同じ層の中で文脈を圧縮して重要度を測り、層間で一つの索引を共有する方式への依存を減らします。一方、複数トークンを先読みするMTPでは、推測ステップ間で上位の索引を再利用する設計も使われます。
