事前学習とは

事前学習とは、AIモデルを、特定の用途に合わせる前に、まず大量のデータで広く訓練して汎用的な土台の力を身につけさせる段階のことです。本番の調整に入る前の「下地づくり」にあたり、いまの大規模言語モデルを作るうえで欠かせない最初の工程になっています。

正解ラベルのないデータで土台を作る

事前学習の大きな特徴は、人手で正解を付けていない大量の文章をそのまま読み込ませ、言葉のつながり方や知識を広く吸収させる点にあります。一つひとつに正解を用意する作業は手間と費用がかかりすぎるため、まず安価に集まる無印のデータで幅広い基礎力を養うわけです。

ファインチューニングとの二段構え

事前学習はあくまで土台で、それだけでは特定の業務に最適化されていません。幅広い基礎を作る事前学習に、目的に合わせて整えるファインチューニングを重ねる二段構えが、現在の標準的な作り方です。一度作った土台を使い回せるため、用途ごとにゼロから学習し直す必要がなくなります(転移学習の考え方)。

なお、ここでの「学習」は人間が知識を覚えることとは異なり、膨大なデータから統計的なパターンを取り込む処理を指します。

事前学習に関するよくある質問

GPTの「P」は事前学習のことですか？

はい。GPTはGenerative Pre-trained Transformerの略で、真ん中の「P」がこの事前学習（Pre-trained）を指します。初代の論文は2018年6月にOpenAIが公開し、「まず大量の文章で事前学習し、あとから用途に合わせて調整する」という現在の流れの出発点になりました。

事前学習とファインチューニングはどう違いますか？

事前学習は大量のデータで汎用的な土台を作る工程、ファインチューニングはその土台を特定の用途に合わせて整える工程です。幅広い基礎を作る事前学習に目的別のファインチューニングを重ねる二段構えが現在の標準的な作り方で、一度作った土台を使い回せるのが利点です。

事前学習の「学習」は人間の勉強と同じですか？

いいえ。ここでの「学習」は人間が知識を覚えることとは異なり、膨大なデータから統計的なパターンを取り込む処理を指します。正解ラベルを付けていない大量の文章をそのまま読み込ませ、言葉のつながり方や知識を広く吸収させます。