LLM Misinformationとは
LLM Misinformationとは、LLMがもっともらしい誤情報や根拠のない説明を出し、それを人や業務システムが信じてしまうリスクです。単なる回答ミスではなく、判断、評判、法務、セキュリティに影響する誤情報として扱う点がポイントになります。
英語表記：LLM09:2025 Misinformation
ハルシネーションだけではない
LLM Misinformationの代表例はハルシネーションです。AIが知らない部分を、統計的にそれらしい言葉で埋めてしまう現象を指します。ただしOWASPは、原因をそれだけに限っていません。学習データの偏り、不完全な情報、利用者の過信も誤情報を広げる要因になります。
経営上の危険は、AIが間違えることそのものより、間違いが自然な文章で出てくることです。数字、法律、医療、採用、投資判断のような場面では、「それらしく見える回答」を確認なしで使うことが損失につながります。
防ぐには確認の設計が要る
対策は「AIにもっと正確に答えさせる」だけではありません。RAGで信頼できる資料を参照させる、人間が重要判断を確認する、自動検証を入れる、利用できる分野を明示する、といった多層の設計が必要です。AIの回答に出典と責任の流れを付けるイメージに近いでしょう。
社内ルールでは、AIの回答をそのまま顧客へ出してよい場面と、必ず人が見る場面を分けましょう。LLM MisinformationはImproper Output Handlingともつながります。誤った出力を確認せず次のシステムへ渡すと、ミスが一気に業務全体へ広がるからです。
Topic攻撃者がいなくてもセキュリティ事故になる
OWASPのこの項目が面白いのは、悪意ある攻撃者がいないシナリオも扱っている点です。医療相談のような高リスク領域でAIの誤情報を十分に監督しないと、攻撃ではなく運用の甘さだけで被害や責任問題が起こる。AIセキュリティは「侵入を防ぐ」だけでは足りません。
LLM Misinformationに関するよくある質問
- 顧客向けチャットボットで特に注意する場面は？
- 料金、契約条件、医療、法律、採用、金融のように、誤回答が損害や責任問題につながる場面です。回答を自動で出す前に、参照資料と人の確認を組み合わせる必要があります。
- RAGを使えば誤情報はなくなりますか？
- なくなるとは言えません。RAGは信頼できる資料を参照させる有効な手段ですが、資料の選び方、引用の確認、人間のレビューと組み合わせて使う必要があります。
