コンテキストウィンドウとは

コンテキストウィンドウとは、AIが一度に読み込んで考慮できる文章の量の上限のことです。人でいえば「いま手元で見渡せる範囲」にあたり、AIの作業記憶(短期記憶)とも呼ばれます。ここに収まる文章を手がかりに、AIは次の言葉を組み立てていくわけです。

「トークン」という単位で測る

窓の広さはトークンという単位で測ります。トークンとは、AIが文章を区切る細かな単位のこと(英語ならおおよそ3.5文字ぶんが目安で、言語によって変わります)。広い窓ほど、長い資料を丸ごと渡したり、長い会話の流れを保ったりするのに有利です。モデルによって窓の広さには幅があり、本一冊ぶんに近い大きさを扱えるものもあります。

学習データとは別物・入力と出力で分け合う

注意したいのは、これが学習で覚えた知識(長期記憶)とは別だという点です。コンテキストウィンドウはあくまでその場限りの作業机で、会話が終われば中身は残りません。しかも、渡した文章(入力)とAIの返答(出力)は、同じ窓を分け合います。長い質問をするほど、返答に使える余白は狭くなる、というわけです。

Topic詰め込むほど賢くなる、わけではない

窓が広いほど有利に思えますが、話はそう単純ではありません。情報を詰め込みすぎると、かえって精度や記憶の正確さが落ちることがあるのです。Anthropicはこの現象を「context rot(文脈の劣化)」と呼んでいます。大事なのは窓の広さそのものより、そこに何を入れるかの取捨選択。容量に余裕があっても、関係の薄い資料まで盛り込むと逆効果になりかねません。

コンテキストウィンドウに関するよくある質問

コンテキストウィンドウは何で測りますか?
「トークン」という単位で測ります。トークンはAIが文章を区切る細かな単位で、窓が広いほど長い資料を丸ごと渡したり、長い会話の流れを保ったりするのに有利です。モデルによって窓の広さには幅があり、本一冊ぶんに近い量を扱えるものもあります。
コンテキストウィンドウは、学習した知識と同じものですか?
いいえ、別物です。コンテキストウィンドウはその場限りの作業机で、会話が終われば中身は残りません。しかも渡した文章(入力)とAIの返答(出力)が同じ窓を分け合うため、長い質問をするほど返答に使える余白は狭くなります。
コンテキストウィンドウは広いほど良いのですか?
一概にそうとは言えません。情報を詰め込みすぎると、かえって精度や記憶の正確さが落ちることがあり、Anthropicはこれを「context rot(文脈の劣化)」と呼んでいます。大事なのは窓の広さより、そこに何を入れるかの取捨選択です。