Induction Heads(インダクションヘッド)とは

Induction Headsとは、Transformer内部で、文脈の中に出てきた繰り返しパターンを見つけ、次に来る情報をまねて予測する働きを持つとされるアテンションヘッドです。たとえば「AはB」と一度示されたあと、またAが出てきたらBを思い出すような動きです。In-context learningを支える内部回路の候補として研究されています。

文脈の中のルールを拾う

LLMは、入力された文章の中だけにある一時的なルールを使って答えることがあります。これがIn-context learningです。Induction Headsは、その裏側で「さっき出た組み合わせが、また出てきた」と気づく役割を担うと考えられています。会議メモの中で「田中さん=営業責任者」と書かれていたら、後半の「田中さん」も同じ役割として読める、という感覚です。

できることを過大評価しない

Induction Headsを知ると、LLMが文脈を理解しているように見える理由の一部が見えてきます。ただし、これは人間の理解そのものではありません。入力内のパターンを拾って続ける力であり、現実世界の正しさを保証するものではないからです。業務で使うなら、文脈内のルールに強いことと、事実確認に強いことを分けて見る必要があります。

Induction Headsに関するよくある質問

業務プロンプトの設計に直接役立ちますか？

直接この部品を操作するわけではありません。ただ、例を並べるとAIが文脈内のパターンを拾うことがあるため、プロンプトで例示を丁寧に置く理由を理解する助けになります。

Induction Headsがあれば事実確認もできますか？

できるとは限りません。文脈内の繰り返しや対応関係を拾う力であり、外部の事実が正しいかを保証する仕組みではありません。業務では別途確認が必要です。