AIモデルファミリーの探索(えーあいもでるふぁみりーのたんさく)とは

AIモデルファミリーの探索とは、攻撃者が対象AIの系統や種類を推測し、どの攻撃が効きやすいかを調べる偵察行為です。モデルファミリーは、同じ設計思想や系列に属するモデルのまとまりのこと。相手のAIがどの家系かを知ることで、攻め方を選びやすくする段階といえるでしょう。

どうやって推測されるのか

MITRE ATLASでは、文書に書かれた情報だけでなく、慎重に作った入力と返答分析によってモデルの系統を分類する方法が挙げています。AIモデル推論APIアクセスがあると、攻撃者は何度も質問して反応を見ることができます。

企業がモデル名を隠していても、返答の癖、対応言語、拒否の仕方、得意不得意から推測される場合あり。モデル名を非公開にするだけでは防御にならないという理解が必要な理解です。

防御で見るべきこと

公開AI機能では、モデル名の表示有無より、異常な反復質問、分類を狙う入力、境界条件を探る入力をログで見ることが重要な監視点です。モデル更新時には、同じ攻撃テストを再実行し、以前の防御が効くか確認しましょう。

AIモデルファミリーの探索に関するよくある質問

モデルファミリーを知られると何が困りますか？

攻撃者が、その系列で知られる弱点や回避方法を選びやすくなります。すぐ侵害されるわけではありませんが、攻撃準備の精度が上がります。

モデル名を隠せば十分ですか？

十分ではありません。返答の傾向や制限の出方から推測されることがあります。非公開化に加えて、探索らしい利用をログで検知する必要があります。