AI RMF Secure and Resilient(エーアイアールエムエフセキュアアンドレジリエント)とは
AI RMF Secure and Resilientとは、NIST AI RMFで示される「信頼できるAI」の特性のうち、AIを攻撃や障害、想定外の変化から守り、必要なときは安全に回復させる考え方です。日本語政府翻訳の見出しは「セキュリティとレジリエンス」。
守ることと戻れることを分けて見る
セキュリティは、不正アクセスや攻撃からAIと周辺システムを守る観点です。NISTは、敵対的サンプル、データポイズニング、モデルや学習データの持ち出しなどを共通の懸念として挙げています。AIでは入力、データ、モデル、出力のどこからでもリスクが入り込む点がやっかいでしょう。
一方のレジリエンスは、何かが起きた後に機能を保つ、または安全に回復する力を指します。攻撃を完全に防ぐだけでなく、壊れ方と戻し方を設計する発想です。店舗システムでいえば、会計端末が止まっても手書き伝票で最低限の営業を続けるような備えに近いでしょう。
AI特有の攻撃面
従来のITセキュリティでは、サーバーやアカウントを守る話が中心になりがちです。AIではそれに加えて、学習データの汚染、悪意ある入力、モデル情報の抜き取りも考える必要があります。文章を入れるだけの画面でも、裏側では重要なデータや判断ロジックに触れているかもしれません。
経営側の問いは「攻撃されるか」ではなく「攻撃や障害が起きたときに事業をどう守るか」です。AI導入時に確認したいのは、アクセス権限、ログ、監視、復旧手順、代替運用の5点。ツール選定の場で後回しにしない項目です。
Safeとの違い
Safeは人や環境への危害を避ける観点です。Secure and Resilientは、攻撃や障害に対してAIシステムが機密性、完全性、可用性を保てるかを見ます。安全事故を防ぐにはセキュリティも必要ですが、両者は同じ言葉ではありません。
Topic強いAIより「安全に崩れるAI」が大事な場面
NISTはレジリエンスについて、予期しない事象に耐えるだけでなく、必要なら安全かつ段階的に機能を落とすことも含めています。常に完璧に動く前提ではなく、悪い状態でも被害を広げない設計を見るのがこの特性の面白いところです。
AI RMF Secure and Resilientに関するよくある質問
- AIツールを買う前に確認する質問は？
- 権限管理、ログ取得、障害時の代替運用、学習データの扱い、出力の監視方法を確認します。担当部署だけで判断せず、情報システムと業務部門で同じ質問表を持つと抜けが減ります。
- 障害時の代替運用はどの段階で決めますか？
- 本番利用を始める前に決めます。AIが止まったときに誰が判断し、どの手順で人手運用へ戻すかを先に決めておくと、事故時の混乱を抑えられます。
- 社内チャットボットにも関係しますか？
- 関係します。社内文書を扱うチャットボットでも、閲覧権限を越えた回答、ログの扱い、誤回答時の修正導線が問題になり得ます。
