ロールコンフュージョンとは
ロールコンフュージョンとは、名前のとおり「役割の取り違え」を指し、対話AIの中核であるLLM（大規模言語モデル）が、システム指示、ユーザー入力、外部文書などの役割を取り違え、本来従うべき指示の優先順位を乱す現象です。2026年7月時点では、プロンプトインジェクションを説明する考え方の一つとして注目されています。業務AIでは、外部データを読ませるほど重要になるリスクです。
英語表記: Role Confusion
なぜ起きるのか
人間には、管理者の指示、利用者の依頼、参考資料の本文が別物に見えます。しかしLLMに渡す時には、それらが一つの入力の流れとして処理されます。ラベルや区切りを付けても、モデルが常に人間と同じ強さで境界を守るとは限りません。結果として、外部文書の中にある指示めいた文を、利用者やシステムの指示のように扱う可能性が生まれます。
企業での防ぎ方
ロールコンフュージョンは、注意書きを増やすだけでは十分に防げません。社内文書検索、RAG、問い合わせ対応などで外部テキストを読む場合、どの部分は参考情報で、どの部分は実行してはいけない命令なのかを設計で分ける必要があります。権限の分離、出力前チェック、危険操作の人間承認を組み合わせることが現実的です。ガードレール（危険な出力や操作を抑える安全策）は「最後の壁」ではなく、入力の分け方から考えるべきでしょう。
Topicrole tagは人間向けのラベルほど強くない
Prompt Injection as Role Confusionの研究では、AIが『システム／利用者／資料』の区別をタグではなく“文章の書きぶり”から推測している点が示されています。そのため、外部文書が『考え中の独り言』や『利用者の命令』らしい文体をまねると、本来低い立場の文がAIに“偉い立場の指示”として扱われてしまう、という指摘です。
ロールコンフュージョンに関するよくある質問
- 利用部門にはどう説明すればよいですか？
- 資料の文章とAIへの依頼文を混ぜて扱うと誤動作が起きる、と説明すると伝わりやすいです。業務では入力欄と参照資料の分離が重要です。
- プロンプトに強い注意書きを入れれば防げますか？
- 注意書きだけでは不十分です。外部文書を命令として扱わせない設計、危険操作の承認、出力確認を組み合わせる必要があります。
- どんな業務で特に注意すべきですか？
- 社内文書検索、顧客メール要約、Webページ参照、RAGなど、外部テキストをAIに読ませる業務で注意が必要です。
