転移学習とは

転移学習とは、ある課題を学ぶ中で身につけた知識を、別の関連した課題に再利用して、少ない手間で性能を高める機械学習の手法のことです。たとえば乗用車を見分ける力を土台に、トラックの認識を効率よく覚えさせる、といった使い方を指します。

ゼロから学ばず、土台を流用する

新しい課題のたびに一から学習させるのは、データも時間もかかり効率的ではありません。転移学習では、先に学んでおいた汎用的な知識(土台)を引き継ぎ、目的の課題に合わせて少しだけ学習し直すことで、この負担を大きく減らせます。人にたとえれば、自転車に乗れる人がバイクの運転を比較的早く覚えるのに近い発想でしょう。

ここで注意したいのは、「転移」は知識をそのままコピーすることではない点です。土台を活かしつつ、新しい課題に合わせて調整するところに意味があります。

事前学習とファインチューニングの土台

転移学習の考え方は、いまの大規模言語モデルを支える二段構えの仕組みそのものです。大量のデータで汎用的な力を養う事前学習が「土台づくり」、目的に合わせて整える調整(ファインチューニング)が「仕上げ」にあたります。一つの基盤モデルを、用途ごとに少ない追加学習で使い回せるのは、この転移学習があるからです。

転移学習に関するよくある質問

転移学習は、知識をそのままコピーすることですか？

いいえ。「転移」は知識をそのままコピーするのではなく、先に学んだ汎用的な土台を活かしつつ、新しい課題に合わせて少しだけ調整するところに意味があります。自転車に乗れる人がバイクを比較的早く覚えるのに近い発想です。

今の大規模言語モデルとどう関係しますか？

転移学習は、いまのLLMを支える二段構えそのものです。大量のデータで汎用的な力を養う事前学習が「土台づくり」、目的に合わせて整えるファインチューニングが「仕上げ」にあたり、一つの基盤モデルを用途ごとに少ない追加学習で使い回せるのは、この考え方があるからです。

転移学習はいつから注目されていたのですか？

AI研究者のアンドリュー・ング氏が2016年に「教師あり学習に続いて機械学習の商業的成功を牽引する次の主役になる」と語りました。その後、巨大な基盤モデルを少ない追加学習で各業務に応用する流れが広がり、この見立ては現実になりつつあります。