Contextual Retrievalとは
Contextual Retrievalとは、文書を細切れ(チャンク)にして検索の索引を作る際に、断片ごとへ「これは何の文書のどの部分か」という説明文をAIで自動付与してから索引化する手法です。Anthropicが2024年9月19日に公式ブログで発表しました。
細切れにすると「文脈」が消える問題
RAG(検索拡張生成)では長い文書をそのまま扱えないため、チャンクへ分割して保存します。ところが「売上は前期比で3%増えた」という断片だけを見ても、どの会社のいつの話かを示す手がかりが残っていないことも珍しくありません。これでは検索で拾えない断片が生まれます。
Contextual Retrievalは、各チャンクの前に50〜100トークン程度(短い説明文ひとつ分)の文脈をClaude(Anthropicのモデル)で自動生成して付け足し、その状態で意味で探す埋め込みと、語の一致で探すBM25の両方の索引を作り直します。同じ文書を読み直さず使い回すプロンプトのキャッシュ機能を前提に、文脈づけの費用は一回限りで済む設計です。
効果の数字と読み方
効果はどの程度か。Anthropicの社内評価によると、上位候補の取りこぼし(検索失敗率)は5.7%から2.9%へと約49%減り、候補を並べ直すリランキングまで併用すると約67%減まで改善したと報告されています(2024年9月時点)。ベンダー自身の評価数値なので、自社データでの検証は前提になりますが、手順とコストが具体的に公開されている点で、導入検討の出発点にしやすいレシピでしょう。
Topic「使わなくていい場合」を先に書いた発表だった？
Anthropicはこの発表の中で、知識ベースが20万トークン(おおよそ書籍1冊分)以下なら、検索を挟まず文書を丸ごとモデルに読み込ませる方が簡単だと案内しています。新手法の売り込みより先に「不要な場合」の線引きを示す書き方で、この線引き自体が技術選定の場でそのまま使える目安になっています。
Contextual Retrievalに関するよくある質問
- Contextual RetrievalはClaude専用の技術ですか？
- 発表ではClaudeで文脈を生成する手順が示されていますが、「チャンクに文脈を付けてから索引化する」という発想自体は、他の埋め込みモデルやキーワード検索とも組み合わせられる一般的な前処理です。
- 導入の費用はどのくらいかかりますか？
- Anthropicの試算では、文脈の自動生成にかかる一回限りの費用は100万文書トークンあたり約1.02ドル(2024年9月時点)とされています。文書量に比例するため、まず対象を絞って試す進め方が現実的でしょう。
- 検索の精度が上がると、業務では何が変わりますか？
- 質問に対して正しい根拠文書がAIへ届きやすくなり、誤った回答や「該当資料が見つからない」という空振りが減ります。社内規程や製品マニュアルの問い合わせ対応など、断片だけでは文脈が伝わりにくい文書ほど効果が出やすい改善です。
