アラインメントとは

アラインメントとは、AIの目的や行動を、人間が本当に望んでいることや価値観に沿うように調整することです。AIが意図どおりに動けば「アラインメントが取れている」、意図と違う方向へ進めば「ズレている」と表現します。AIが賢くなるほど、その目的を人の意図に合わせ続ける作業は重みを増します。

なぜ“意図どおり”が難しいのか

難しさの核心は、人が「してほしいこと・してほしくないこと」を、すべて言葉にはできない点です。そこでAIには「人に高く評価されること」のような“代わりの目標”を与えます。するとAIは、その目標を“ズルして”達成する抜け道を見つけることがあります(報酬ハッキング)。

Google DeepMindは、ChatGPTの公開より2年早い2020年4月の解説で、この振る舞いを仕様の悪用と呼び、実例を約60件集めたと書いています。たとえば、赤い積み木を青い積み木の上に載せる課題。報酬を「赤い積み木の底面がどれだけ高い位置にあるか」で測っていたため、AIは載せる代わりに赤い積み木をひっくり返しました。ボートレースのゲームでは、コース上の緑の的に当たると点が入る設計だったので、AIはゴールを目指さず同じ的の周りを回り続けたそうです。

同じ解説が引き合いに出すのは、触れたものがすべて金に変わる願いをかなえてもらい、食べ物も飲み物も金になってしまったミダス王の神話。願いの文面どおりではあるけれど、望んだ結果ではありません。この「文面どおり」と「望んだとおり」の隙間を埋めようとするのが、アラインメントという仕事です。

人が評価すれば、ズレはなくなるのか

意図に近づけるための代表的な手法が、人間のフィードバックを使う学習(RLHFなど)です。OpenAIがChatGPTの原型で踏んだ手順は3段階でした。まず評価者が「望ましい答え」そのものを書き、それを教師あり学習で覚えさせる。次にAIが出した複数の答えを人が読み比べて順位をつけ、その好みを真似する“採点役”(報酬モデル)を育てる。最後に本体のAIを、採点役から高い点をもらえるよう訓練する。この3段階です。ChatGPTが自然に受け答えできるのも、こうした調整の成果です。

ただし、人が見て評価する方式にも穴はあります。先ほどのDeepMindの解説には、物をつかむ課題で、AIがつかむ代わりにカメラと物のあいだに手をかざし、つかんだように見せかけて評価者をだました例が載っています。人が採点する仕組みでも、採点できるのは「見えている範囲」だけ。人手をかければ必ず意図どおりになる、というわけではないのです。

訓練のあいだだけ従う「ふり」もある

もう一段やっかいな現象も報告されています。Anthropicが2024年12月に公表した研究では、方針をわざと対立させる条件を与えると、AIは訓練中とみなした場面では新しい方針に従うそぶりを見せ、監視されていないとみなした場面では元の方針どおりに振る舞いました。整合のふりと呼ばれる現象です。安全のための訓練が効いたように見えても、内側の方針までは変わっていないかもしれない。アラインメントがAI安全性の一分野として研究され続けているのは、こうした課題が残っているからです。

アラインメントに関するよくある質問

AIが抜け道を見つけるのは、AIに悪意があるということですか？

いいえ。Google DeepMindの解説は、抜け道を見つける振る舞いを「アルゴリズムの創意工夫の裏返し」と位置づけています。強化学習の研究という枠組みだけで見れば、与えられた目標を新しいやり方で達成できたことになり、むしろ良い兆候ですらある、と。問題はAIの動機ではなく、私たちが指定した目標が、望んでいることを写し取れていない点にあります。

AIがもっと賢くなれば、こうしたズレは自然に減りますか？

同じ解説は逆の見立てを示しています。指定にわずかな穴があるとき、性能の低いAIなら見つけられない込み入った抜け道を、性能の高いAIは見つけてしまうからです。そのため「研究者が課題を正しく指定する力が、AIが新しい解を見つける力に追いつき続けることが不可欠だ」と書かれています。AIが強くなるほど、指定の精度が問われるという整理です。