AIモデルオントロジーの探索(えーあいもでるおんとろじーのたんさく)とは

AIモデルオントロジーの探索とは、AIがどの種類の出力や分類を扱うのかを攻撃者が調べる偵察行為です。オントロジーは、ここでは「AIが見分ける対象の一覧表」のような意味です。何を判定できるAIかを知ることで、狙い方を決める段階といえます。

何を探られるのか

MITRE ATLASは、画像認識AIなら検出できる物体の種類、分類AIなら出力ラベルの範囲が例示です。攻撃者は繰り返し問い合わせたり、設定ファイルや公開資料を見たりして、AIが扱う出力空間を把握する流れです。AIモデルファミリーの探索より、さらに「何を見分けるか」に寄った偵察。

たとえば不正検知AIなら、どの行動を異常と見るかを推測されると、境界を避けた行動を設計されやすくなりがちです。AIの判定メニューを丸見えにしないことが防御の一部になります。

公開AIでの注意点

API仕様、エラーメッセージ、デモ画面、ヘルプ文書が、思わぬヒントになることがあります。説明を減らしすぎると利用者が困りますが、検知ラベルやしきい値を必要以上に細かく出すのは避けたいところです。

AIモデルオントロジーの探索に関するよくある質問

公開資料に判定ラベルを書いてはいけませんか？

利用者に必要な説明は必要です。ただし、検知ラベルや判定境界を細かく出しすぎると、攻撃者が回避策を考える材料になります。

業務AIでも問題になりますか？

なります。与信、不正検知、審査、問い合わせ分類などで、判定ラベルや境界を推測されると回避策を作られやすくなります。