学習データ抽出とは

学習データ抽出とは、AI(とくに大規模言語モデル)に巧妙に質問することで、学習中に丸暗記してしまった元のデータを、そのまま外に吐き出させる攻撃のことです。要点を理解しているだけに見えるAIが、実は原文を覚えていた、という弱点を突くのです。

AIが「暗記」した原文を取り出す

大規模言語モデルは、学習した文章を確率的になぞって再現できます。そのため特定の手がかりを与えると、覚え込んだ文字列を一字一句そのまま復元してしまうことがあります。研究では、過去のモデルから氏名や電話番号、メールアドレスといった実在の個人情報が取り出せると示されました。モデルが大きく賢くなるほど、暗記による漏えいは起きやすくなるという指摘も重要でしょう。

自社データで学習させる前に

似たプライバシー攻撃のうち、メンバーシップ推論攻撃が「データが入っていたか」を当てるだけなのに対し、学習データ抽出は暗記された中身を丸ごと取り出すもっとも直接的な形です。社内文書や顧客データでAIをファインチューニングすると、そのAIが機微な情報を思わぬ場面で口にする恐れがあります。差分プライバシーや、同じ文章を学習で繰り返さない工夫などが備えになります。

学習データ抽出に関するよくある質問

学習データ抽出では、実際にどんな情報が漏れたのですか？

2020年の研究では、ある言語モデルに文章の冒頭を打ち込むと、実在する人物の名前・住所・電話番号・メールアドレスを続きとして丸ごと自動補完して吐き出しました。AIが学習中に、要点ではなく他人の個人情報そのものを暗記していた証拠で、ChatGPTの一般公開（2022年11月）より前にこの危うさは具体的に示されていました。

自社データでAIを学習させるとき何に注意すべきですか？

社内文書や顧客データでAIをファインチューニングすると、そのAIが機微な情報を思わぬ場面で口にする恐れがあります。モデルが大きく賢くなるほど暗記による漏えいは起きやすくなるとされ、差分プライバシーや、同じ文章を学習で繰り返さない工夫などが備えになります。