LLMハルシネーションの発見(はつけん)とは

LLMハルシネーションの発見とは、攻撃者がLLMに存在しないパッケージ名やURLなどを出させ、その架空名を悪用候補として探す偵察手法です。AIの間違いを笑って終わらせず、存在しない名前を攻撃の入口として調べる点が特徴といえます。

ハルシネーション一般との違い

ハルシネーションは、AIが事実と違う内容をもっともらしく出す現象のこと。LLMハルシネーションの発見は、その現象を攻撃者が能動的に探す点が違います。存在しないnpmパッケージ名やURLをAIが出した場合、そこに本物らしい罠を置ける可能性が生まれるためです。

企業側の対策は、AIが出した名前をそのまま使わないこと。特にコード、外部ライブラリ、URL、取引先名は、実在確認を人間または別システムで挟む必要があるでしょう。

現場で見るべき点

AIコーディングアシスタントやRAGを使う現場では、AIが示した依存先を自動で取り込ませないことが重要になります。承認済みパッケージ一覧、社内レジストリ、URL到達確認を組み合わせると、ハルシネーション由来の混入を減らせるでしょう。

LLMハルシネーションの発見に関するよくある質問

架空のパッケージ名が実在化すると何が問題ですか？

AIが出した架空名を攻撃者が先に登録すると、利用者が本物だと思って取り込む危険があります。特にコード生成や社内自動化では、取得元の確認が重要です。

企業は何を確認すればよいですか？

AIが出したパッケージ名、URL、会社名をそのまま信じないことです。導入前に実在確認、承認済みリストとの照合、取得元の検証を挟む必要があります。