ORPOとは
ORPOとは、SFTによるお手本学習と、人間の好みに合わせる選好最適化を、別々の工程に分けず1回の学習にまとめる手法です。2024年に発表され、好ましい回答を伸ばしながら、好ましくない回答の出やすさを同時に下げる考え方として提案されました。
英語表記：Odds Ratio Preference Optimization（ORPO）
ORPOの仕組み
通常の対話AI作りでは、まずSFTで模範回答を真似させ、その後にDPOやRLHFで人間の好みに寄せます。ORPOはこの2段構えを見直し、SFTの学習中に「好ましくない回答が出にくくなる罰」を一緒に入れる設計です。オッズ比とは、ある結果がどれくらい起こりやすいかを比で見る考え方。ORPOでは、好ましい回答が出やすく、好ましくない回答が出にくくなるよう、その比を使って調整します。
DPOとの違い
DPOは、SFTで土台を作った後に、選好データを使って追加で調整する流れが一般的です。ORPOは、お手本学習と好みの調整を同じ工程にまとめることで、参照モデルや追加のアラインメント工程を減らすことを狙います。工程が少ないほど、実装や実験の管理は楽になるでしょう。一方で、1つの学習に役割をまとめるぶん、データ設計やバランス調整を雑にすると、期待した口調や安全性に届かない可能性もあります。
ビジネスでの使われ方
ORPOは、企業が自社向けAIを作るときの「工程を減らす」発想として理解できます。良い回答例を覚えさせるだけでなく、避けたい回答の傾向も同時に弱めるため、顧客対応や社内ヘルプデスクのように口調と安全性を同時に整えたい場面で考えやすいでしょう。ただし実務では、どの回答を「好ましくない」とするかの基準作りが重要です。そこが曖昧だと、学習方法だけ変えても品質は安定しません。
TopicORPOはSFTを捨てず、SFTの中に罰を混ぜる
ORPOの論文で面白いのは、「SFTはやはり大事だ」と認めたうえで、その中に選好調整を混ぜ込んだ点です。SFTを終えてから別工程で好みに寄せるのではなく、模範回答を学ばせる最中に、好ましくない回答スタイルへ小さな罰を入れる。料理でいえば、完成後に味を直すのではなく、煮込みながら少しずつ味を整える発想に近いでしょう。
ORPOに関するよくある質問
- ORPOはDPOより簡単なのですか？
- ORPOはSFTと選好最適化を1つの工程にまとめるため、工程数は減らしやすいです。ただし、どの回答を好ましい・好ましくないとするかのデータ設計は引き続き重要です。
- ORPOのオッズ比とは何ですか？
- ある結果がどれくらい起こりやすいかを比で見る考え方です。ORPOでは、好ましい回答が出やすく、好ましくない回答が出にくくなるよう、その比を使って調整します。
- ORPOはSFTの代わりになりますか？
- SFTをなくすというより、SFTの中に選好調整を組み込む手法です。お手本を学ばせる工程を土台にしながら、避けたい回答スタイルも同時に抑えます。
