アテンション機構とは

アテンション機構とは、AIが入力された情報の中から「どこが重要か」を見極める仕組みです。文章を処理するとき、すべての言葉を平等に扱うのではなく、文脈に応じて大事な言葉に重みを置きます。私たちが文章を読むとき、自然と要点に注目するのと似た働きと考えるとつかみやすいでしょう。今の生成AIを支える中核技術のひとつです。

どこに注目するかを見極める

たとえば「その犬は大きくて、とても賢い」という文で「賢い」のが何かを判断するには、離れた位置にある「犬」に注目する必要があります。アテンション機構は、こうした言葉どうしの関係を、距離に関係なく結びつけて重みづけするのが得意です。重要な手がかりを見落とさずに文全体の意味を捉えられるため、長い文章でも筋を追えるようになりました。

では、弱点はないのでしょうか。文章が長くなるほど計算が重くなる点がそれで、すべての言葉の組み合わせを比べるためです。

Transformerを提案した2017年の論文の比較表でも、この計算量は文章の長さの2乗に比例すると整理されています。長さが2倍なら、比べる組み合わせはおよそ4倍。とても長い入力では注目する範囲を近くの言葉に絞る案にも、論文自身が触れています。

アテンションは、いつ何のために生まれたのか

アテンションの考え方が機械翻訳の論文で示されたのは、2014年9月のことです。当時の翻訳AIは、元の文をいったん決まった長さの数値の列にまとめてから訳していたため、文が長くなるほど訳の質が急に落ちていました。

そこで、訳語を1つ出すたびに元の文のどこを見るかをAI自身に選ばせる。ドイツとカナダの大学の研究者3人が示したのは、この工夫でした。

その後アテンションは翻訳などのAIに広く組み込まれていきますが、多くは文を前から順に読み進める仕組み（RNN）と組み合わせた使い方でした。2017年にGoogleの研究者らが発表したTransformerは、この順番に読む部分を取り払い、アテンションだけで組み上げた設計です。

言葉を同時並行で計算できるので学習にかかる時間が大きく縮み、翻訳の精度でもそれまでに報告されていた成績を上回っています。ChatGPTやGPTの「T」は、このTransformerの頭文字。土台はChatGPTの一般公開（2022年11月）より5年も前に築かれていたことになります。

アテンション機構に関するよくある質問

アテンション機構は、文章以外のAIでも使われていますか？

使われています。2017年3月にGoogleが発表した音声合成のTacotronは、文字の並びと音声を対応づける部分にアテンションを使っていました。画像でも、2020年10月に発表されたVision Transformerが、画像を小さな区画に分けて単語のように並べ、アテンション中心の設計で画像を分類しています。

「アテンション（注意）」は、AIが人のように注意を向けているという意味ですか？

人間のように意識して何かを見ているわけではありません。Transformerの論文の定義では、ある言葉とほかの言葉それぞれの相性を計算して重みを決め、その重みで情報を足し合わせる計算のことです。重みが大きい言葉ほど結果に強く効くため、そこに注目しているように見える、というのが実際のところです。