アテンションシンクとは
アテンションシンクとは、大規模言語モデル（LLM）が、文章の先頭にある単語へ、意味と関係なく大きな注目を集めてしまう現象です。余った注目の受け皿になっている、と考えるとイメージしやすいでしょう。この性質を逆手に取ると、長い対話を安定させられます。
英語表記：Attention Sink
長い対話が崩れない理由
AIを長く動かし続けると、古い内容を捨てて新しい部分だけを見る工夫（スライディングウィンドウアテンション）が要ります。ところが、先頭の数単語まで捨てると、なぜか出力が一気に崩れてしまう。そこで先頭の「シンク」役の単語を残しておくと、限られたメモリでも安定して生成が続きます。研究では400万トークンを超える長さでも動き、窓を作り直す方式に比べ最大22.2倍速いと報告されました。長時間つけっぱなしにするチャットやエージェントの安定に効く知見でしょう。
Topic「シンク」は沈むではなく、流し台のこと
シンク（sink）は、沈む方ではなく流し台・排水口を指します。モデルが使い切れずに余らせた注目を、意味の薄い先頭の単語へ流し込む排水口のように働くことから、この名が付きました。面白いのは、その「意味のない受け皿」を消すと、かえって性能が崩れる点。何でもないはずの先頭の単語が、じつは屋台骨を支えていたわけです。
アテンションシンクに関するよくある質問
- アテンションシンクは不具合（バグ）ですか？
- もともとは意図しない癖として見つかった現象ですが、欠陥というより活用できる性質です。先頭の単語を残す工夫により、長時間の生成を安定させる土台として使われています。
- アテンションシンクは利用者が意識する必要がありますか？
- 通常は意識しなくて構いません。モデルや実行基盤の内部で扱われる仕組みで、長く動かし続けるチャットやエージェントの安定性を支える裏側の話題です。
