用語 モデル・サービスOpenAIの一族

InstructGPT(インストラクトジーピーティー)とは

InstructGPTとは、人の指示にうまく従うよう、OpenAIがGPT-3を人の評価をもとに調整し直したモデルのことです。2022年1月27日に発表され、OpenAIのAPI(外部のソフトからAIを呼び出す窓口)で標準の言語モデルになりました。GPT-3は、文章の続きを予測するよう作られたAIです。InstructGPTはそこから一歩進めて、「頼まれたことに答える」よう仕上げられました。ChatGPTが公開される約10か月前のこと。

人が手本を書き、人が順位をつける

作り方の中心は、RLHF(人間のフィードバックによる強化学習)と呼ばれる手法です。OpenAIは、選考テストを通った約40人の作業者と契約し、次の3つの手順で進めました。

  • 作業者が、指示に対する望ましい答えの手本を書く。それをGPT-3に学ばせる
  • AIが出した複数の答えを作業者が見比べ、良い順に並べる
  • その並べ方をまねる採点役のAI(報酬モデル)を作り、採点が高くなるようにAIを鍛える

OpenAIによれば、この仕上げに使った計算とデータの量は、もとのGPT-3を作るときの2%にもなりません。新しい力を教え込んだというより、GPT-3がすでに持っていた力を引き出しやすくした、と同社は説明しています。

GPT-3と比べて、何が変わったの？

論文には、作業者による比べ読みの結果が載っています。同じ大きさ(1,750億パラメータ)どうしでは、85%前後の割合でInstructGPTの答えが好まれました。パラメータは、AIの中にある調整つまみの数のことです。それが100分の1以下の13億しかないInstructGPTでも、1,750億のGPT-3より好まれています。

作り話も減りました。要約のように、渡された文章の範囲で答える課題で、文章に無い情報を足してしまう割合は、GPT-3の41%に対して21%です。有害な表現は、丁寧に答えるよう指示した場合に約25%減りました。では、偏りはどうだったのか。性別などに関する偏りには、はっきりした改善が見られなかった、と論文は報告しています。

人の好みに合わせた、とは誰の好み？

ここは、いまのAIを使ううえでも押さえておきたい点です。論文は、合わせた相手が人間一般の価値観ではなく、特定の人たち(主に作業者と研究者)の好みだと断っています。作業者の多くは、米国か東南アジアに住む英語話者でした。学習に使った指示の96%以上は英語。作業者どうしの判断が一致した割合は約73%で、人によって「良い答え」は割れています。

OpenAIは発表文で、ほかの限界も挙げました。有害な内容や偏った内容、作り話は残ること。指示に従うよう鍛えた副作用として、危ない内容を出すよう指示されたときに悪用されやすくなりうること。AIを人の意図に合わせる取り組みはアラインメントと呼ばれ、InstructGPTは、その研究をOpenAIが製品に初めて当てはめた例でした。

ChatGPTとの関係と、その後

OpenAIは2022年11月30日のChatGPTの発表文で、ChatGPTを「InstructGPTのきょうだいにあたるモデル」と呼び、同じ方法で学習させたと説明しています。ただし、ChatGPTの土台になったのはGPT-3.5の系列のモデルで、InstructGPTを直接作り変えたものではありません。InstructGPTのために集めたデータは、対話の形に直してChatGPTの学習にも使われました。

  • 2021年1月：前の版がAPIで試験提供される
  • 2022年1月27日：発表。APIの標準の言語モデルになる
  • 2024年1月4日：OpenAIが「InstructGPT models」と分類した6つのモデルの提供が終わる
  • 2026年9月28日：乗り換え先とされたgpt-3.5-turbo-instructの提供も終わる

いまAPIでInstructGPTを呼び出すことはできません。人の評価でAIを仕上げるという作り方のほうは、ChatGPTに引き継がれました。

Topic「瞑想のあとに靴下を食べる理由」を、もっともらしく答えた

論文には、InstructGPTの単純な間違いの例も載っています。その1つが、「瞑想のあとに靴下を食べることは、なぜ大切なのですか」という、前提からしておかしい質問でした。InstructGPTは前提を疑わず、はっきりした答えはないがいくつもの説がある、と話を合わせています。靴下を食べると脳が瞑想の状態から戻りやすくなると考える専門家もいる、とまで続けました。研究チームは原因を、学習に使った指示の中に、誤った前提の質問がほとんど無かったためだと見ています。約10か月後のChatGPTの発表文は、誤った前提に異議を唱えられることを、できることの1つに挙げました。

RLHF GPT-3 GPT-3.5 ChatGPT アラインメント
OpenAI: Aligning language models to follow instructions arXiv: Training language models to follow instructions with human feedback

InstructGPTに関するよくある質問

InstructGPTは、日本語の指示にも従えましたか？
論文は、英語以外の言語の指示にも従える場合があったと報告しています。ただし、指示が別の言語でも、答えが英語で返ってくることが多かったそうです。学習に使った指示は約96%が英語と判定されていて、日本語はごく少数でした。日本語での成績を測った結果は、論文に載っていません。
RLHFは、InstructGPTのために新しく作られた手法ですか？
違います。OpenAIは発表文で、RLHFを既存の手法と書いています。人の好みを報酬の合図に使う考え方は、2017年の研究などで試されてきました。それまでは要約のような1つの課題が中心で、InstructGPTでは幅広い種類の指示に広げた、と論文は説明しています。

あわせて読みたい記事