GPT-2とは

GPT-2とは、2019年にOpenAIが公開した、GPTシリーズの2代目にあたる大規模言語モデルです。初代のGPT-1を大きく拡張し、文章の「次に来る言葉」を予測しながら、より自然な文章を生み出せるようになりました。ChatGPTが世に出る3年前のモデルで、後のGPT-3やChatGPTへと続く流れの途中にあります。

規模を一気に広げた2代目

GPT-2の設定つまみ（パラメータ）は最大で約15億個。GPT-1の約13倍という規模で、文章生成の自然さが大きく前進しました。大量の文章で先に学ばせる作り方はGPT-1から受け継ぎつつ、純粋に規模を広げることで賢さを引き上げたのがこの世代の特徴です。後継のGPT-3では、さらに桁違いの規模拡大が進みます。

GPT-2に関するよくある質問

GPT-2はGPT-1やGPT-3とどう違いますか？

GPT-2は2019年公開の2代目で、設定つまみ（パラメータ）が最大約15億個とGPT-1の約13倍です。作り方は受け継ぎつつ純粋に規模を広げて文章生成の自然さを高めました。後継のGPT-3ではさらに桁違いの規模拡大が進み、ChatGPTへとつながります。

GPT-2はなぜ話題になったのですか？

発表時、OpenAIが悪用への懸念から完全なモデルをすぐには公開しなかったためです。偽ニュースやスパム、差別的な文章を大量に作られる恐れがあるという理由で、まず小さい版だけを出し段階的に範囲を広げ、最大版の公開は約9カ月後でした。AIの安全性と公開のあり方を社会に問いかけた象徴的な出来事になりました。