敵対的摂動とは

敵対的摂動とは、AIに誤った判断をさせるために、入力データへわざと加える人の目には気づけないほど小さな細工（ノイズ）のことです。写真でいえば、人間が見ても「ふつうの画像」にしか見えないのに、ごく薄いノイズを重ねただけでAIだけが別物に見間違える、という現象を起こします。AIの判断が思いのほか脆いことを示す、攻撃の「材料」にあたる概念です。

わずかなノイズが判断を裏返す

AIは画像を「どのカテゴリに近いか」で仕分けています。敵対的摂動は、その仕分けの境界線をギリギリ越えるよう、計算ずくでノイズを設計する点に特徴があります。足すノイズの量はごく小さく抑えられ、人間にはほとんど変化が分かりません。それでもAIの内部では「パンダ」だった判断が「サル」へ裏返ってしまう。ランダムな砂嵐ノイズとは違い、AIの弱点を狙い撃ちした、いわば的確な嫌がらせだと考えると分かりやすいでしょう。

画面の中だけの話ではない

怖いのは、この細工が現実世界でも通用しうることです。セキュリティ企業のマカフィーは、速度標識に2インチ（約5センチ）の黒いテープを貼るだけで、テスラ車の認識システムが制限速度を約80km/hも超過して読み取るよう仕向けられることを示しました。標識やカメラ映像など、AIが「目」で外界を判断する仕組みは、こうした物理的な細工の影響を受けます。ただし現実では光や角度のブレで細工が効かなくなることも多く、安定して効く攻撃を作るのは簡単ではありません。

目視で気づけないからこそ備える

厄介なのは、細工が人間の目には見えないため、現場の目視チェックでは見抜けないという点です。「おかしな入力なら人が気づくはず」という前提が、ここでは通用しません。だからこそ、AIの判定だけを根拠にせず、別の検知ルールや確認の仕組みと重ねておく。AIの「目」を業務の重要な関門に据えるときほど、この備えが効いてきます。

敵対的摂動に関するよくある質問

敵対的摂動と「敵対的パッチ」は何が違いますか？

摂動は人の目に気づけないほど小さなノイズが基本で、見た目はふつうの入力と変わりません。パッチはあえて目立つ模様を貼りつける攻撃で、印刷して物理的に置ける点が異なります。

画像認識を使っていなければ関係ありませんか？

いいえ。文章、音声、マルウェア判定など、AIが入力を仕分けるあらゆる場面で起こりえます。AIに判定を任せている仕組みは、種類を問わず注意が必要です。

人の目に見えないなら、検知のしようがないのでは？

入力に統計的な異常がないかを機械的に検査したり、攻撃データもあらかじめ学ばせる敵対的学習で耐性を付けたりと、ある程度は備えられます。ただし完璧ではなく、複数の対策を重ねるのが基本です。