知識蒸留とは

知識蒸留とは、大きなAIモデルが身につけた判断のしかたを、小さなモデルへ移して学ばせる技術です。英語ではKnowledge Distillationといい、単に「蒸留」とも呼ばれます。教える側を教師モデル、教わる側を生徒モデルと呼ぶのが一般的。大きなモデルの賢さをできるだけ保ったまま、軽くて速く、安く動くモデルを作るのが狙いです。

どういう仕組みか

ポイントは、生徒モデルが教師モデルの「迷い方」まで教わるところにあります。ふつうの学習では、「この写真は乗用車」という正解だけを教えます。蒸留では、教師モデルが出した確からしさの内訳を、そのまま手本にするのです。

「蒸留」という呼び名でこの手法を示したのは、当時Googleに在籍していたGeoffrey Hinton氏、Oriol Vinyals氏、Jeff Dean氏の3人による論文でした。公開は2015年で、ChatGPTが登場する7年あまり前にあたります。論文はこんな例を挙げています。BMWの写真をごみ収集車と見間違える可能性は、ごくわずか。それでも、ニンジンと見間違える可能性に比べれば何倍も高い。この「間違え方の濃淡」に、ものどうしの似かたについての知識が詰まっている、という考え方です。大きなモデルの知識を1つの小さなモデルへ移せること自体は、Buciluă氏、Caruana氏らが2006年の論文で先に示しており、Hinton氏らもそれを発展させたものだと書いています。

なぜ、わざわざ小さく作り直すのか

論文の書き出しは、意外にも昆虫の話です。幼虫は栄養を取り込むのに向いた姿をしていて、成虫は移動と繁殖に向いた、まったく別の姿をしている。AIも同じで、学習の段階では大きく重いモデルで構わないが、多くの利用者に届ける段階では、速く安く動くモデルに作り替えたほうがよい。そういうたとえです。

効果も実験で示されました。Androidの音声検索で使われていた音声認識モデルの、少し前の版で試したところ、10個のモデルを組み合わせて得られた精度の改善のうち、8割以上を1個のモデルに移せたと報告しています。10個を同時に動かす費用をかけずに、近い精度を得られるわけです。経営の視点では、運用の費用を下げ、応答を速くするための代表的な工夫といえるでしょう。

生成AIでは、回答そのものを教材にする

文章を作る生成AIでは、大きなモデルに書かせた回答を集め、それを教材にして小さなモデルを追加で学習させるやり方も、蒸留と呼ばれています。確からしさの内訳ではなく、できあがった文章を手本にする点が、もとの方法との違いです。OpenAIは開発者向けの手引きで、大きなモデルの出力を集めて小さなモデルのファインチューニングに使う手順を案内しています。中国のDeepSeekは、推論モデルのDeepSeek-R1に作らせた回答例を使い、公開済みの小型モデルを学習させ直した版を、R1とあわせて公開しました。

正当な蒸留と、無断の蒸留はどう違う？

蒸留そのものは、広く使われている正当な手法です。Anthropicは2026年2月23日の発表で、AIの開発企業が自社のモデルを蒸留し、小さく安い版を作って顧客に提供するのは日常的なことだと説明しました。

問題になるのは、他社のモデルを無断で手本にする場合です。同じ発表でAnthropicは、DeepSeek、Moonshot AI、MiniMaxの3社が約2万4,000の不正なアカウントを通じてClaudeと1,600万回を超えるやり取りを行い、能力を引き出していたと公表し、利用規約に反すると述べています。Anthropicはこれを「蒸留攻撃」と呼びました。外から質問を重ねてAIの働きを写し取る手口は、モデル抽出攻撃として以前から知られています。

会社にとっての要点は2つ。自社のAIを外部に公開するなら、回答を大量に集められて写し取られる恐れを見込んでおくこと。反対に、他社のAIの回答を集めて自社のモデルに学ばせたいなら、先に相手の利用規約を確かめることです。

知識蒸留に関するよくある質問

なぜ「蒸留」と呼ぶのですか？

2015年の論文は、名前の由来を説明していません。手法の中心にあるのは「温度」と呼ばれる設定値で、これを上げると教師モデルの答えの確からしさがなだらかになり、小さな差まで生徒モデルに伝わります。学習を終えた生徒モデルは、温度を元に戻して使います。

量子化やプルーニングとは、どう違うのですか？

どれもAIモデルを軽くする技術ですが、やり方が違います。量子化は計算に使う数値を粗くし、プルーニングは影響の小さい部分を削ります。この2つが同じモデルに手を入れるのに対し、蒸留は別の小さなモデルを新しく育てる方法です。