In-context learning(インコンテキストラーニング)とは
In-context learningとは、AIが学習し直すことなく、プロンプトの中に示された例や指示から、その場でタスクのやり方を読み取る能力のことです。「文脈内学習」とも呼ばれ、Zero-shot・One-shot・Few-shotといったプロンプトの工夫は、すべてこの仕組みの上に成り立っています。
ふつうの「学習」との違い
名前に「学習」と付きますが、紛らわしいので注意が必要です。In-context learningでは、モデルの中身（パラメータ）はいっさい書き換わりません。プロンプトに書かれた例を読んで、その会話のあいだだけ振る舞いを合わせているだけ。記憶を恒久的に書き換えるファインチューニング（追加学習）とは、性質がまるで異なります。
大きなモデルで突然あらわれた力
この能力は、ChatGPTが広まる2年前、2020年に公開されたGPT-3で広く知られるようになりました。面白いのは、誰かが設計して組み込んだ機能ではなく、言語モデルを大きくしていく過程で「いつのまにかできるようになっていた」という点。小さなモデルにはほとんど見られず、規模が一定を超えると現れます。こうした性質は創発的能力と呼ばれています。
Topicやりとりが終わると、きれいに忘れる
In-context learningは、あくまで一時的なものです。プロンプトで教えた内容は、その会話が終わればリセットされ、AIの中には何も残りません。だからChatGPTのようなAIは、前回のチャットで伝えたことを次の会話では覚えておらず、毎回まっさらな状態から始まります。人間がレッスンを記憶していくのとは、根本的に違う「その場かぎりの学び」なのです。
関連用語
In-context learningに関するよくある質問
- 名前に「学習」と付きますが、AIは賢くなっているのですか？
- いいえ。In-context learningではモデルの中身（パラメータ）はまったく書き換わりません。プロンプトの例を読んで、その会話のあいだだけ振る舞いを合わせているだけで、記憶を恒久的に書き換えるファインチューニングとは別物です。
- 会話で教えた内容は、次回も覚えていますか？
- 覚えていません。教えた内容はその会話が終わるとリセットされ、AIには何も残りません。だからChatGPTは前回伝えたことを次の会話では覚えておらず、毎回まっさらな状態から始まります。