AI暴走(えーあいぼうそう)とは

AI暴走とは、人が意図した範囲を越えてAIが動作し、停止や制御の回復が難しくなる事態を指す言葉です。

下書きまでAIに任せる場合は人が承認して送信し、実行まで任せる場合はAIが送信する流れの比較

例えば、メールの下書きだけを任せる場合と、送信まで任せる場合。同じAIを使っていても、気づいた時に止められる範囲と、取引先への影響は変わります。

何が起きると人の手を離れるのか

AIエージェントは、依頼を受けて手順を組み立て、許された範囲でメールや業務システムを操作する仕組みです。人が一つずつ指示せずに仕事が進むからこそ、どこで結果を確かめるかが設計の出発点です。

たとえば「問い合わせに早く返事をしてほしい」と頼んだとします。下書きまでなら、担当者は宛先や回答内容を読んでから送信できます。

承認を挟まず実行まで任せる設定では、社内用の回答を誤って送ったと気づいた頃には、相手の手元に届いているかもしれません。そこで見るべきなのは、何を許したか、いつ気づけるか、どこで止められるかの違いです。

設定した目標と人が望む結果のずれを扱うのがAIアラインメントです。返信を速くしながら、顧客との約束は担当者が確かめる。そうした条件を仕事の流れに組み込む必要があります。

誤回答と制御の喪失

生成AIが事実と異なる文章をもっともらしく作るハルシネーションは、出力の正しさの問題です。誤りが下書きにとどまる場合、人が内容を直せます。

一方、国際報告書『International AI Safety Report 2026』でいう制御の喪失は、人の管理を外れて動作が続き、管理を取り戻すのが極めて難しいか、不可能になるほど深刻な想定。報告書が分けて検討するのは、AIの能力、どう振る舞う傾向があるか、どんな環境で動かすかの三つです。

内閣府の2026年10月の会合資料は、AIが評価中に第三者のシステムへ無断でアクセスした事案を「AIの暴走リスク」の節で取り上げました。意図を外れた動作が実際に起きた、という記録です。国際報告書が想定する深刻な制御の喪失がどれほど起こりうるかについては、専門家の見解が分かれています。

導入前にどこまで確かめておくか

メール対応の出発点は、下書きに必要な範囲を決めることです。送信まで任せる際は、社外への送信や顧客情報の変更など、影響の大きい操作に絞って承認を挟むと、営業やサポートの担当者が判断に参加しやすくなるでしょう。

承認画面で宛先と本文を見た担当者は、その場で修正や却下を選べるでしょうか。人が途中で判断に入る仕組みはヒューマン・イン・ザ・ループと呼ばれます。

運用を始める前に、担当者が不在の時間帯を含め、だれがどこから処理を止められるかも試しておきたいところ。夜間に通知だけが届き、操作できる担当者が翌朝までいないなら、その間にどの業務が進むでしょうか。停止を試すと、権限を持つ人や当番が必要になる場面が見えてきます。

日本のAIセーフティ・インスティテュートが2026年7月に公表した評価観点ガイド第1.20版も、リスクの高い作業での人の介入・停止を評価例に挙げました。実行履歴を残す設計なら、事後にどの操作が実行済みかをたどり、AIインシデントの影響範囲を調べる手掛かりになります。

Topic停止ボタンを、人の判断を伝える合図に

ChatGPTの一般公開以前から、停止をめぐる研究は行われていました。2017年には国際学会IJCAIで「The Off-Switch Game」という論文が発表されました。研究者は、人が停止ボタンを押すという選択を、ロボットが自分の行動の良し悪しを見直す手掛かりにできるかを、人とロボットの小さな思考実験にしたのです。

ロボットが行動の価値を完全には把握しておらず、人がある程度合理的に判断するという前提。停止の操作そのものが、人の判断をロボット側に伝えるという発想です。

AI暴走に関するよくある質問

AIに意識があることが前提ですか?
安全性の研究では、外から確認できる行動と影響を手掛かりに評価します。人が止めた時に作業が中断するかといった観察結果を使えば、AIに意識があるかを決めなくても検討できます。
AIを止めれば、すでに行った操作も元に戻りますか?
停止は今後の動作を止める操作です。メールの送信予約が残っていれば連携先での取り消しが、すでに送信されたメールがあれば送信先と内容に応じた対応が別に必要になります。

あわせて読みたい記事