LLMデータ漏えい(えるえるえむでーたろうえい)とは
LLMデータ漏えいとは、攻撃者が巧妙な入力を使い、LLMから機密情報や社内データを出力させるリスクです。漏れる対象は、学習データだけではありません。接続されたデータベース、会話履歴、他の利用者の情報が含まれることもあります。AIの記憶だけでなく、AIが読みに行ける場所も漏えい源になる点が厄介です。
英語原名: LLM Data Leakage (AML.T0057)
どこから漏れるのか
MITRE ATLASは、LLMデータ漏えいの出所として、訓練データ、接続されたデータソース、他ユーザーの情報を挙げます。RAGを使う社内検索AIでは、回答の根拠として読みに行く文書が漏えい源になる場合あり。プロンプトインジェクションで、通常は出さない内容を出すよう誘導されることもあります。
対策では、AIに見せる情報を減らすだけでなく、回答として出してよい範囲を制御が必要です。読めることと、話してよいことは別という考え方です。この線引きをしないと、便利な検索AIほど危険になります。
Topic「学習済みの記憶」だけを疑うと見落とす
LLMの漏えいというと、学習時に覚えた秘密を思い浮かべがち。しかしATLASは、接続データや他ユーザーの情報も含めます。AIが後から読みに行く社内資料も、漏えい対策の対象です。
実務での防ぎ方
社内検索やAIエージェントには、部署、役職、案件ごとのアクセス権を反映します。回答前に機密ラベルを確認し、ログで誰が何を聞いたかを追えるようにします。出力を外部送信するツールと組み合わせる場合は、さらに承認を挟むべきポイントです。
LLMデータ漏えいに関するよくある質問
- LLMデータ漏えいはハルシネーションと同じですか？
- 違います。ハルシネーションは事実でない内容を作る問題で、データ漏えいは本来出してはいけない情報を出す問題です。どちらも回答の信頼性に関わりますが、対策は異なります。
- RAGを使えば安全になりますか？
- RAGは根拠文書を使える一方、アクセス権のない文書まで読める設計だと漏えい源になります。検索対象と回答許可の両方を管理する必要があります。
