SPPOとは
SPPOとは、AIの回答方針同士を競わせるようにして、人間に好まれやすい方針へ近づける選好最適化の手法です。Self-Play Preference Optimizationの略で、DPOやIPOのような選好データを使う調整の流れにあり、2024年5月に公開された論文で提案されました。
英語表記：Self-Play Preference Optimization（SPPO）
自己対戦で好みを学ぶ
SPPOのSelf-Playは、AIが自分の回答方針を相手にして改善するような考え方。論文では、人間の好みがいつも一貫して順位付けできるとは限らない点を問題にしています。そこで、回答方針同士のゲームとして選好を扱い、安定して選ばれやすい方針を探すわけです。企業で言えば、1人の評価者の癖に合わせるより、複数の比較で負けにくい提案の型を作る感覚に近いでしょう。
Topic自己対戦はゲームAIだけの言葉ではない
Self-Playと聞くと、囲碁や将棋のAIが自分同士で対局する姿を思い浮かべるかもしれません。SPPOで競うのは盤面ではなく、回答方針。ある方針が別の方針より好まれるかを繰り返し見て、安定して勝ちやすい方向へ寄せます。社内で複数案を戦わせ、勝ち筋のある型を残していく発想に近いものです。
SPPOに関するよくある質問
- SPPOとDPOは何が違いますか？
- DPOは選ばれた回答と選ばれなかった回答のペアから直接学ぶ手法です。SPPOは回答方針同士をゲームのように扱い、より安定して好まれる方針を近似する点が特徴です。
- 自己対戦というとゲーム用AIの話ですか？
- SPPOではゲーム盤で対戦するという意味ではありません。AIの回答方針を比較相手として使い、どの方針が選ばれやすいかを繰り返し学ぶ比喩として捉えると分かりやすいです。
