RAGとは

RAGとは、AIが答えを作る前に外部の資料を検索し、その内容を踏まえて回答を組み立てる仕組みのことです。Retrieval-Augmented Generation(検索拡張生成)の略。大規模言語モデルに、信頼できる資料という“カンニングペーパー”を持たせるイメージです。

どんな仕組みか

ふつうの大規模言語モデルは、学習で覚えた知識だけを頼りに答えます。いわば持ち込み禁止の試験(クローズドブック)です。RAGはこれを資料持ち込みOKの試験(オープンブック)に変える発想で、質問が来るたびに関連資料を探し、その記述を根拠に答えを作ります。モデルを学習し直すのではなく、その場で資料を参照する点がポイントです。

何の役に立つのか

最大の利点は、事実と違う内容をもっともらしく語るハルシネーションを抑えやすく、回答の根拠(出典)を示せることです。学習時点にない最新情報や、社外には出ていない自社の文書にも対応できます。社内マニュアルを参照する問い合わせAIや、資料に基づいて答えるNotebookLMなども、この考え方を土台にしています。

Topic名づけ親はFacebook(現Meta)・しかも2020年

RAGという言葉と仕組みは、2020年にFacebook(現Meta)の研究チームが論文で提唱したものです。世間がAIに驚いたChatGPTの一般公開は2022年11月ですから、その2年前には既に「AIに資料を引かせて答えさせる」という発想が研究されていたことになります。いま社内文書を扱うAIの多くがこの考え方を使っており、地味ながら息の長い基礎技術です。

RAGに関するよくある質問

RAGの答えが的外れになるのは、どこに原因があることが多いですか?
答えを書く段階よりも、その手前の「探す」段階です。関係する資料を取り出せなければ、どれだけ賢いAIでも根拠なしに答えることになります。意味で探す仕組みは、データが増えるほど速さを優先した「近似」のやり方に頼るため、取りこぼしが起こりえます(PostgreSQLの拡張pgvectorの説明でも、近似の索引は「速度と引き換えに再現率をいくらか手放す」と明記されています)。精度が出ないときは、AIそのものを取り替える前に、資料の整え方と検索の設定を見直すほうが近道です。
RAGに社内資料を使わせると、その資料はAIに学習されてしまいますか?
RAGの仕組みそのものは、モデルの中身を書き換えません。ただし「使っている生成AIサービスが、入力した内容を機械学習に使うかどうか」は別の問題で、こちらは契約と設定で決まります。個人情報保護委員会は事業者に対し、個人データを含むプロンプトを入力する場合は「当該生成AIサービスを提供する事業者が、当該個人データを機械学習に利用しないこと等を十分に確認すること」と注意喚起しています(2023年6月2日)。社内資料をRAGに載せる前に、まず利用規約のこの点を確かめてください。
ファインチューニングとの違いは?
ファインチューニングはモデルを学習し直して中身を作り変えます。RAGはモデルを学習し直さず、質問が来るたびに関連資料を探してその場で参照する点が異なります。

RAGに関連する記事