RAFTとは
RAFTとは、RAG(検索拡張生成)で使うことを前提に、AIモデルをその分野専用へ追加学習(ファインチューニング)させる手法です。2024年3月にカリフォルニア大学バークレー校の研究チームが論文を公開しました。
英語表記：Retrieval Augmented Fine-Tuning
RAGとファインチューニングは「どちらを選ぶか」と比べられがちですが、RAFTは両方を組み合わせる第三の選択肢です。学習時には、正解の根拠になる文書と、わざと混ぜた無関係な「ハズレ文書」を一緒に与えます。関係ない資料に引きずられず、必要な文書だけを根拠に答える力を鍛えるためです。専門分野の文書を検索で渡しても読み解きが甘い。そんなとき、読み方ごと教え込むのがこの手法といえます。
なお、同じRAFTという名前は他分野にもあります。分散システムの合意アルゴリズムRaft(2014年)はまったくの別物なので、調べものの際は文脈に注意してください。
Topic「持ち込み可の試験」にどう備えるかという例え話
研究チームは公式ブログで、この手法を試験にたとえて説明しています。従来のファインチューニングだけなら暗記で挑む持ち込み不可の試験、通常のRAGは資料持ち込み可だがぶっつけ本番。RAFTは持ち込む資料を使って事前に勉強してから試験に臨む、という位置づけです。人間の学び方の比喩がそのまま手法の説明になっている、腹落ちしやすい論文でしょう。
関連用語
RAFTに関するよくある質問
- RAGとファインチューニングで迷ったら、RAFT一択ですか？
- 一択ではありません。RAFTは両者を組み合わせる発想ですが、追加学習のコストがかかります。まずRAG単体で精度を確かめ、専門分野の読み解きが弱いと分かった段階で検討する、という順番が現実的でしょう。
- 分散システムのRaftと同じものですか？
- 別物です。分散システムのRaft(2014年)は複数のサーバーで合意を取るためのアルゴリズムで、AIの学習手法であるRAFT(2024年)とは名前が同じだけの無関係な技術です。
