GPT-3とは

GPT-3とは、OpenAIが2020年に発表した大規模言語モデル(LLM)の一つです。文章の続きを予測する仕組みを大きく育てたモデルで、例をいくつか見せるだけで翻訳や要約などさまざまな作業をこなせる点が、当時大きな驚きをもって受け止められました。名前のとおり、GPTシリーズの3代目にあたります。

GPT-3の特徴

GPT-3の規模を示す数字が、1,750億個のパラメータです。パラメータはAIが言葉のパターンを覚えておくための無数の「調整つまみ」のようなもの。論文によると、それまでの同じ種類の言語モデルと比べて10倍の規模でした。

ただし、つまみの数が多いほど何でも正確に答えられる、というわけではありません。論文自身が弱点として、長い文章では話の筋を見失ったり自分と矛盾したりすること、そして「チーズを冷蔵庫に入れたら溶けるか」のような身の回りの物理の常識を問う質問が苦手なことを挙げています。規模の大きさと答えの正しさは別もの、と捉えておきたいところ。

ChatGPTより前に登場していた

つまずきやすいのが登場した時期です。GPT-3の論文が出たのは2020年5月で、ChatGPTが一般に公開された2022年11月より前のできごとでした。「GPT＝ChatGPT」と思われがちですが、GPT-3は2020年6月に始まったOpenAIのAPI（プログラムから呼び出す窓口）の限定ベータで、開発者向けに提供されたモデルです。

その後、初代のChatGPTは、2022年初めに学習を終えたGPT-3.5シリーズのモデルを土台に作られています。GPT-3の各モデル（davinciなど）は、OpenAIが2023年7月6日に提供終了を告知し、2024年1月4日にAPIでの提供を終えました。GPT-3は、いまの対話型AIにつながる流れをつくった初期の重要なモデルという位置づけになります。

なぜ「例を見せるだけ」が画期的だったのか？

論文の題名は「言語モデルは少数の例から学ぶ（Language Models are Few-Shot Learners）」。GPT-3は、作業ごとにモデルを作り直さなくても、指示と数個の例を文章で見せるだけで翻訳や質問への回答などをこなせることを示しました。この頼み方はフューショットプロンプティング、その場で例から学ぶ性質は文脈内学習と呼ばれます。専用のプログラムを作り込まなくても、言葉で頼むだけでAIに作業を任せられる。この手軽さが、その後ビジネスでのAI活用が広がる下地になったといえるでしょう。

GPT-3に関するよくある質問

GPT-3は誰でもダウンロードして使えたのですか？

いいえ。GPT-3は重みが公開されず、OpenAIのAPIを通じてだけ提供されました。OpenAIは理由として、研究や安全対策の費用をまかなえること、巨大なモデルを動かす専門知識や費用を持たない中小企業でも使えるようにすること、悪用が分かったときに利用を止めやすいことの3点を挙げています。

GPT-3のAPIは、どんな使い方を想定していましたか？

OpenAIは2020年の発表で、1つの用途に特化せず「文章を入れると文章が返ってくる」汎用の窓口だと説明し、英語のさまざまな作業に試せるとしていました。初期の利用企業にはAlgolia、Quizlet、Redditなどが挙がっています。一方で、ハラスメントやスパムなど明らかに有害な使い方にはアクセスを止めると明記していました。