GPT-1とは

GPT-1とは、OpenAIが2018年6月11日に発表した、GPTシリーズの最初の言語モデルです。大量の文章を先に読ませてから用途ごとに仕上げる手順で、文の分類や質問への回答など12種類の課題のうち9つで、それまでの記録を上回りました。ChatGPTの一般公開(2022年11月30日)より4年以上前のモデルで、会話サービスではなく、研究の成果として公開されたものです。

新しかったのは、組み合わせ方

手順は2段階です。まず、冒険や恋愛ものなど、7,000冊を超える未出版の本を読ませ、「次に来る言葉」を当てさせます。そのあと、解かせたい課題ごとに、正解つきの少量のデータで仕上げる。前半を事前学習、後半をファインチューニングと呼びます。

この手順そのものは、GPT-1が最初ではありません。OpenAIは発表記事で、自分たちのやり方を「既存の2つの考えの組み合わせ」と書いています。1つは、先に読ませてから仕上げる手順。2015年の先行研究などで、すでに試されていました。もう1つが、Googleの研究者らが2017年に発表したTransformerです。

GPT-1がしたのは、土台をTransformerに替え、モデルの形をほとんど変えずに幅広い課題へ使い回すことでした。比べた相手は、課題ごとに専用の設計をしたモデル。GPT-1のほうは、入力の並べ方を工夫するだけで済ませています。

ChatGPTのように会話できたの？

できませんでした。公開されたのは研究用のプログラムとモデルで、課題ごとに仕上げをして初めて力を出す作りです。

ただし論文と発表記事には、仕上げをせずにどこまで解けるかを試した記録があります。映画レビューの文の後ろに「very」と付け、続く言葉として「positive」と「negative」のどちらが出やすいかを見る。それだけで、レビューが好意的かどうかを約80%当てました。

仕上げなしで課題を解かせるこの使い方は、翌2019年のGPT-2で研究の中心になります。OpenAIは同じ記事で、計算資源とデータを増やせばまだ伸びる余地が大きい、とも書きました。

OpenAI自身が挙げた3つの弱点

発表記事は、成果と並べて弱点も3つ挙げています。1つ目は、事前学習に8台のGPUで約1か月かかること。2つ目は、本やネットの文章だけでは世界について不完全で不正確な知識しか得られず、データの偏りまで学んでしまうこと。3つ目は、意地悪な出題や想定外の入力には、まだもろいことです。

規模は、学習で調整される数値(パラメータ)が約1億1,700万個でした。2020年5月に論文が出たGPT-3は約1,750億個。2年ほどで約1,500倍になった計算です。

GPT-1に関するよくある質問

GPT-1は、いまも入手できますか？

できます。OpenAIは発表と同時に、プログラムと学習済みのモデルを公開しました。公式の公開場所は「更新の予定なし」の保存扱いになっていますが、AIモデルの共有サイトHugging Faceでも配布されています。対応する言語は英語です。

同じ2018年に出たBERTとは、何が違うのですか？

文章の読み方が違います。GPT-1は前から順に読んで次の言葉を当てる形、4か月後に出たGoogleのBERTは、文の前後を同時に見て、隠した言葉を当てる形で学びます。BERTの論文は、比べやすいように小さいほうの版をGPT-1と同じ大きさにそろえたと書いています。