Corrective RAGとは
Corrective RAGとは、RAG(検索拡張生成)で取ってきた文書の質をまず評価し、出来が悪ければ検索を補正してから答えを作る手法です。略称はCRAGで、2024年1月に論文が公開されました。
英語表記：Corrective Retrieval Augmented Generation
「資料集めの失敗」を前提にした設計
通常のRAGは、検索で拾った文書が正しい前提で答えを書きます。ところが実際には、そもそも検索が外れていて、誤答の原因が資料集めの段階にあるケースが少なくありません。
Corrective RAGでは、軽量の検索評価器が取得文書の信頼度を判定し、結果に応じて動きを変えます。手元の文書で足りなければWeb検索まで広げて補い、使う文書からは要点だけを選び、無関係な部分をふるい落としてから答えを作らせます。部下が集めた資料をそのまま会議へ出さず、一度ふるいにかけてから配る。そんな段取りに近い仕組みです。
社内ナレッジが薄い段階ほど効く考え方
RAGの導入直後は、社内文書の整備が追いつかず検索が外れやすい時期が続きます。「検索は失敗することがある」を前提に保険を組み込むCorrective RAGの考え方は、文書整備が途上の段階でRAGを運用するときの参考になるでしょう。誤答が出たとき、生成側だけでなく検索側を疑う。この視点を与えてくれる用語です。
Topic直すのは「答え」ではなく「資料集め」？
名前のCorrective(矯正する)が直す対象は、AIが書く文章そのものではなく検索の結果です。誤答対策と聞くと答えの書き方を直す工夫を想像しがちですが、CRAGは資料集めの失敗を正す側からアプローチしました。しかも論文では、既存のRAGへ後付けできる差し替え部品(プラグアンドプレイ)として設計したとされています。システムを作り直さずに足せる保険、という発想です。
Corrective RAGに関するよくある質問
- Self-RAGとCorrective RAGは何が違いますか？
- どちらも「取ってきた文書を疑う」発想ですが、Self-RAGは検索の要否や根拠の点検をモデル自身に学習させる手法、Corrective RAGは外付けの評価器で検索結果を判定し、悪ければWeb検索などで補う構成です。既存システムへ後付けしやすいのはCorrective RAG側の持ち味です。
- CRAGはいつ登場しましたか？
- 論文の初版は2024年1月に公開されました。ChatGPT公開(2022年11月)のあと、RAGの弱点を補う研究が相次いだ時期の代表例のひとつです。
- Web検索まで広げるのは危なくないですか？
- 外部情報を混ぜる分、出どころの管理は必要になります。CRAGでは取得文書から要点だけを選び、無関係な情報をふるい落とす処理を挟むことで、質の低い情報の混入を抑える設計になっています。
