創発的能力とは

創発的能力とは、大規模言語モデルの規模を大きくしていくと、小さなモデルにはなかった能力が、ある段階から急に現れる現象のことです。あらかじめ設計して組み込んだ機能ではなく、規模の拡大に伴って自然と立ち上がってくる点が特徴とされています。

ここでいう「創発」は、AIが自我や意識を持つといったSF的な意味ではありません。モデルを大きくすると、これまで解けなかった種類の問題が急に解けるようになる、という観測上の現象を指す言葉です。

規模を超えると急に現れる

多くの能力は、モデルが大きくなるにつれて少しずつ伸びていきます。創発的能力はそれと異なり、一定の規模を超えた途端に成績が跳ね上がるように見えるのが特徴です。例として、複数の桁の計算、文脈内学習(例をいくつか見せるだけで要領をつかむ力)、思考の連鎖と呼ばれる段階を踏んだ推論などが挙げられます。2022年に発表された研究で、この現象が報告されました。

経営目線での意味

創発的能力は、「大きなモデルほど質的に新しいことができる可能性がある」ことを示します。ただし、いつ・どの能力が現れるかを事前に正確に見通すのは難しいとされ、過度な期待は禁物です。次のTopicのとおり、そもそも「創発」が本物かどうかにも議論があります。

創発的能力に関するよくある質問

「創発」は、AIが意識を持つという意味ですか？

いいえ。SF的な自我や意識の話ではなく、モデルを大きくすると、これまで解けなかった種類の問題が急に解けるようになる、という観測上の現象を指す言葉です。

どんな能力が「創発」するのですか？

複数の桁の計算、文脈内学習（例をいくつか見せるだけで要領をつかむ力）、思考の連鎖と呼ばれる段階を踏んだ推論などが例に挙げられます。多くの能力が規模とともに少しずつ伸びるのに対し、これらは一定の規模を超えた途端に成績が跳ね上がるように見えます。

「創発」は本物の現象なのですか？

議論があります。2023年にスタンフォード大学の研究者らが「創発的能力は幻（mirage）かもしれない」とする論文を発表し、能力は実は滑らかに伸びているのに成績の測り方しだいで急に現れたように見えるだけ、と指摘しました。この論文は同年のトップ学会で最優秀論文賞に選ばれています。