悪意あるコマンド生成とは
悪意あるコマンド生成とは、攻撃者がLLMに自然文で指示し、侵入や破壊に使うコマンドを動的に作らせる攻撃手法です。コマンドとは、コンピュータへ直接出す命令のこと。攻撃者が毎回違う命令文を作れるため、固定の文字列だけで検知する防御をすり抜けやすくなります。
英語原名: Generate Malicious Commands (AML.T0102)
何が新しいリスクなのか
従来も攻撃コードの自動生成はありましたが、LLMは自然な言葉から環境に合わせた命令を作れる点が特徴です。MITRE ATLASは、AI生成コマンドが攻撃の署名を変化させ、相手環境に素早く適応しやすくする点を示します。これはジェイルブレイクや外部サービスの悪用ともつながる構図です。
企業側では、AI利用そのものを禁止するだけでは不十分。サーバーや端末で実行された命令の意味、実行者、直前のチャットやAPI呼び出しを合わせて見る必要になります。命令が正しい文法かより、なぜその命令が出たのかを追う視点が重要です。
Topic攻撃コマンドも「その場で作文」される
ATLASのデータには、LAMEHUGというマルウェアが外部のLLM APIを使って自然文から悪意あるコマンドを生成した例の記録あり。あらかじめ全命令を持ち込むのではなく、現場で命令を作文する攻撃として見ると理解しやすいでしょう。
検知で見るべき点
同じ攻撃でも文字列が変わる前提で、実行先、権限、通信先、ファイル操作の組み合わせを見ます。AIを使う開発環境では、生成されたコマンドをそのまま本番環境で動かさない承認線も必要になります。
悪意あるコマンド生成に関するよくある質問
- 悪意あるコマンド生成はコード生成AIの問題ですか？
- コード生成AIだけの問題ではありません。LLMに自然文で作業を頼める環境なら、管理コマンドやスクリプトの生成にも使われる可能性があります。
- 固定の禁止ワードで防げますか？
- 十分ではありません。LLMは同じ目的を別の表現で出せるため、文字列だけでなく実行権限、通信先、操作内容を合わせて確認する必要があります。
