RLHF(アールエルエイチエフ)とは

RLHFとは、AIの回答を人間の好みに合わせて調整するための、学習のやり方のことです。正式名称はReinforcement Learning from Human Feedback、日本語では「人間のフィードバックによる強化学習」と訳されます。人が「こちらの答えのほうが良い」と選んだデータをもとに、AIが人の期待に沿った受け答えをするよう仕込む点が特徴です。

3ステップで“好み”を教える

RLHFは、おおまかに3つの段階で進みます。最初のステップは、人が“お手本”そのものを書くこと。OpenAIがChatGPTの原型をつくったときは、質問に対する望ましい答えを評価者自身が書き起こし、それを教師あり学習でAIに覚えさせました。2つめの段階で、AIに複数の答えを作らせて人がどちらが良いかを選び、その「人の好み」を真似する“採点役”のAI(報酬モデル)を育てます。最後に、本体のAIを、その採点役から高い点をもらえるように訓練するのです。

ChatGPTを“使える”ようにした技術

もともとの言語モデルは、ありそうな次の単語を予測するだけで、「親切に答えよう」という意図は持っていません。RLHFは、その差を埋めた立役者です。OpenAIがInstructGPTやChatGPTに使い、指示に従い、役に立ち、害を避ける受け答えを実現しました(InstructGPTの論文が2022年3月、ChatGPTの一般公開が同年11月30日)。AIを人の意図に沿わせる「アラインメント」の、代表的な手法でもあります。

ただし、指示に従う力が上がるのは良い方向にだけ働くわけではありません。OpenAI自身が論文で「おそらく最大の限界」として挙げているのは、現実に害をもたらしうる指示であっても、多くの場合そのまま従ってしまう点です。偏った書き方をするよう指示した実験では、同じ規模のGPT-3より有害な出力が増えたという結果も報告されています。RLHFは“人の好みに寄せる”調整であって、事実の正しさや安全を保証する仕組みではありません。

その“好み”は、誰の好みなのか

自社の業務で当てにする前に、一度見ておく価値があります。InstructGPTの論文でOpenAIが明かしているのは、評価役として雇ったのが約40人の業務委託者で、その大半が英語話者、データもほぼ英語の指示文だったこと。しかも比較の多くは、費用の都合で1人しか判定していません。論文は「この集団は、私たちのモデルを使い影響を受ける人々の全体像を代表していないことが明らかだ」と自ら書いています。AIの“感じの良さ”は人類共通の基準ではなく、特定の少人数の判断を写し取ったもの。日本語の接客文や社内文書に使うなら、丁寧さの度合いや言い回しが自社の基準に合うかは、実際の業務文で別に確かめておきたいところです。

RLHFに関するよくある質問

なぜ人が直接点数をつけず、“採点役のAI”をわざわざ作るのですか？

人がすべての答えに点をつけ続けるのは、量も費用も追いつかないためです。採点役（報酬モデル）を一度つくってしまえば、以後は人手を待たずに何万通りもの答えへ点をつけられます。人の判断を“写し取った物差し”を先に用意する工程、と捉えると分かりやすいでしょう。

RLHFは一度かければ終わりですか？

終わりではありません。InstructGPTの論文では、2つめ（比較データを集めて採点役を育てる）と3つめ（採点役の点を高める訓練）の段階を続けて繰り返す設計になっています。そのときの最良のAIから答えを集め直し、採点役も作り直すという回し方です。運用に入ってからも人の判定を集め続ける前提の仕組み、というわけです。