創発的能力とは

創発的能力とは、AIの言語モデルを大きくしていくと、小さなモデルでは当てずっぽうと変わらなかった課題が、ある規模を境に解けるようになる現象のことです。2022年にGoogle Research、スタンフォード大学などの研究者16人がまとめた論文が、「小さなモデルには無く、大きなモデルには有る能力」と定義しました。小さなモデルの成績の伸びをそのまま延ばしても、いつ現れるかは読めない。そこが、ふつうの性能向上との違いです。

ここでいう「創発」は、AIが意識や自我に目覚めるという意味ではありません。論文が定義の根っこに置いたのは、ノーベル賞を受けた物理学者フィリップ・アンダーソンの1972年のエッセイ「More Is Different」。量が変わることで、振る舞いの質が変わるという、物理学や生物学で古くから論じられてきた考え方を、言語モデルの規模に当てはめた言葉です。

どんな能力が、どの規模で現れた？

論文は、それまでの研究で報告された例を集めて一覧にしています。扱っているのは、いずれもChatGPTの一般公開（2022年11月30日）より前のモデルです。わかりやすいのが3桁の足し算・引き算です。問題の前に解き方の例を2つ見せるやり方（フューショットプロンプティング）で解かせると、GPT-3は130億パラメータの版から急に正解し始め、それより小さい版はほぼ0点のままでした。並べ替えた文字から元の単語を当てる課題も、ほぼ同じ規模で同じ形の跳ね上がりを見せています。

57科目の知識を問う試験MMLUでは、GPT-3、Gopher、Chinchillaのいずれも、100億パラメータ前後までは当てずっぽうと同じ平均点でした。700億〜2800億パラメータ級になって、ようやく大きく上回ります。問題の解き方を途中まで書かせる「思考の連鎖」という指示の出し方も、効き目が出るのはおよそ1000億パラメータ級から。それより小さなモデルでは、普通に答えさせたときより成績が良くなりませんでした。

注意したいのは、「◯億パラメータを超えれば、この能力が出る」という決まった線ではないことです。論文自身が、現れる規模はその能力に固有の値ではなく、学習データの質などで変わると書いています。実際、GoogleのPaLMは620億パラメータの版で、それより大きいGPT-3（1750億）とLaMDA（1370億）が当てずっぽう同然だった14の課題を解きました。

本当に「急に」現れるの？

2023年、スタンフォード大学の研究者3人が「大規模言語モデルの創発的能力は幻（mirage）か？」と問う論文を発表しました。主張の中心は、急に現れたように見えるのは、モデルが急に変わったからではなく、成績の付け方のせいかもしれないというものです。BIG-Benchという大規模な試験で創発とされた例の92%超は、「答えが完全に一致したら1点、それ以外は0点」と「正しい選択肢に最も高い確率を付けたら1点」という、部分点のない2つの採点方法のどちらかで測られていました。

部分点のない採点が、なぜ急な伸びに見えるのでしょうか。5桁の数を答える問題で、単純化した計算をしてみます。1桁ごとの正しさが50%、80%、95%と少しずつ上がっても、5桁すべてが合う確率は約3%、約33%、約77%。中身は少しずつ育っているのに、合否だけを見ると、ある所から突然できるようになったように見えるわけです。論文は、部分点の付く採点に替えると、同じモデルの成績がなだらかに伸びて見えることを確かめました。

反論された側の原論文も、実はこの点に触れていました。部分点のない採点が少しずつの改善を「創発」に見せうると認めたうえで、選択式の課題でも急な伸びが見られるため、それだけでは説明しきれないとしていたのです。2023年の論文の側も、大規模言語モデルに創発が起こりえない、と主張するものではないと断っています。争点は、能力そのものが急に生まれるのか、それとも少しずつ育っていた力が合否で測ると急に見えるのか。この2023年の論文は、AI研究の主要な国際会議NeurIPSで、その年の本会議部門に採択された3,218本から2本だけ選ばれた優秀論文賞（Outstanding Main Track Paper）の1本になりました。

AIを使う会社には、何が関係する？

Anthropicの研究者らは2022年の論文で、大規模なモデルには相反する性質が同居すると指摘しました。モデル全体としての伸びは、学習に使う計算量などからかなり正確に予測できる。一方で、個々の課題で何ができるようになるかは予測しにくい。だから、新しいモデルを世に出したときに何が起きるかを前もって見通すのが難しい、という指摘です。害のある能力も同じように突然現れうるため、開発各社は公開前に危険能力評価を行っています。

使う側への意味を、私たちなりに2つに整理します。1つは、モデルを新しい世代へ切り替えたら、自社の業務で試し直す価値があること。以前は使い物にならなかった仕事が急にこなせるようになっていることもあれば、思わぬ振る舞いが出ることもあります。もう1つは、試し方です。2023年の論文は、成績を正誤だけで付けると少しずつの改善が見えにくくなり、問題数が少ないと小さなモデルの実力を測り損ねる、と注意しています。社内で比べるときは、どこまで合っていたかも記録し、問題数を十分にそろえる。見かけの「急な飛躍」や「まったくできない」に振り回されにくくなるはずです。

創発的能力に関するよくある質問

「創発的ミスアライメント」とは、関係がありますか？

名前は似ていますが、別の現象です。創発的能力は、言語モデルの規模を大きくしたときに、小さなモデルでは解けなかった課題が解けるようになることを指します。創発的ミスアライメントは、AIに狭い範囲の悪い振る舞い（安全でないコードを黙って書くことなど）だけを追加で学習させると、まったく無関係な質問にまで有害な答えを返すようになる現象で、引き金は規模ではなく追加学習です。

ここでいう「規模」とは、何の大きさですか？

2022年の論文は、学習に使った計算量とパラメータ数で測っています。学習データの量も重要な要素ですが、多くのモデルが大きさによらず同じ量のデータで学習していたため、軸には使っていません。答える瞬間に計算を増やして考えさせる「推論時スケーリング」は、この議論でいう規模とは別の軸です。