ハルシネーションとは

ハルシネーションは、AIが事実と異なる内容や、与えた文脈に合わない内容を、もっともらしく自信ありげに作り出してしまう現象です。ChatGPTのような生成AIに質問すると、実在しない出典や数字を本当のことのように答えてしまうことがあります。たとえば、存在しない本や論文を著者名つきで「あります」と答え、指摘されても言い張ってしまう、といった例が知られています。

なぜ起きるのか

生成AIは、内容を理解して事実を「調べて」答えているわけではありません。これまでの膨大な文章から「次に来そうな言葉」を確率的に予測して文章を組み立てています。そのため、知らないことや学習データに無いことでも、つい「それらしい言葉」で埋めてしまうのです。学習データが古い、あるいは不足している分野ほど起こりやすくなります。

うまく付き合うには

完全に防ぐのは難しいため、重要な情報はAIの答えを鵜呑みにせず、人が裏取りするのが基本です。減らす工夫としては、AIに「分からないときは分からないと答えてよい」と許可する、根拠になる資料を渡してそこから答えさせる、主張ごとに出典を添えさせて確認する、といった方法が公式にも紹介されています。こうした入力の工夫はプロンプトエンジニアリングとも呼ばれます。

ハルシネーションに関するよくある質問

ハルシネーションは、AIがわざと嘘をついているのですか？

いいえ。AIは内容を理解して嘘をつくのではなく、膨大な文章から「次に来そうな言葉」を確率的に予測しているだけです。知らないことでも、それらしい言葉でつい埋めてしまう仕組み上の副産物で、悪意があるわけではありません。

ハルシネーションは完全に防げますか？減らすにはどうすればいいですか？

完全に防ぐのは難しいため、重要な情報は人が裏取りするのが基本です。減らす工夫として、AIに「分からなければ分からないと答えてよい」と許可する、根拠資料を渡してそこから答えさせる、主張ごとに出典を添えさせる、といった方法が公式にも紹介されています。

「ハルシネーション（幻覚）」という呼び名の由来は？

もとは1980年代の画像処理で「細部を補って絵を生成する」という良い意味で使われていた言葉でした。2017年ごろGoogleがAI翻訳の誤りを指してこの語を用い、2022年のChatGPT登場をきっかけに、人間が見る「幻覚」になぞらえた呼び名として一気に広まりました。