Weak Model Provenanceとは
Weak Model Provenanceとは、外部から取得したAIモデルについて、誰が、どのデータと手順で作り、途中で差し替えられていないかを強く確認できない状態です。日本語では、モデル来歴の弱さ、またはモデルプロビナンス不足と考えると分かりやすいでしょう。
日本語表記：モデル来歴の弱さ、モデルプロビナンス不足
モデルの履歴書だけでは足りない
LLM Supply Chainでは、LLM本体だけでなく、事前学習モデル、追加学習データ、LoRA、変換ツール、配布元アカウントまで確認対象になります。モデルカードは用途や制約を読む助けになりますが、そのモデルが本当に記載どおりの経路で作られたかまでは保証しません。
経営判断では、モデルを「無料で公開されている便利な部品」とだけ見ないことが重要です。出どころが弱いモデルを社内AIに組み込むと、Vulnerable Pre-Trained ModelやDirect Model Tamperingのような問題を見落とす恐れがあります。たとえるなら、履歴書はあるが本人確認書類と入退室記録がない採用候補者を、そのまま重要部署へ入れるようなものです。
調達で見るべき証跡
確認したいのは、入手元、バージョン、ハッシュ値（ファイルが1文字でも変わっていないか照合する指紋のような値）、署名（作成者本人が作った証明）、承認者、評価結果、更新履歴です。難しく聞こえますが、要は「どの部品を、いつ、誰が、何を確認して本番に入れたか」を残すこと。MLOpsの台帳やセキュリティ審査とつなげると、属人的な判断になりにくくなります。
逆に、配布ページの人気やベンチマークだけで採用を決めるのは危険です。性能が高く見えても、モデルの由来が追えなければ、事故時に原因調査も切り戻しも遅れるでしょう。AI導入では、精度の前に来歴を確認するという発注ルールを持つべき場面です。
Topicモデルカードは「栄養表示」だが、封印シールではない
モデルカードは、モデルの用途や制約を伝える透明性の道具です。ただしOWASPは、モデルカードや関連文書は情報を与える一方で、モデルの起源を保証するものではないと注意しています。つまり、栄養表示を読むことと、中身が差し替えられていないことを証明することは別です。
Weak Model Provenanceに関するよくある質問
- モデルカードがあれば来歴確認は十分ですか？
- 十分ではありません。モデルカードは用途や制約を読む資料ですが、モデルが途中で改ざんされていないことを証明する仕組みではありません。
- Weak Model Provenanceは誰の責任で確認しますか？
- AIベンダーだけでなく、導入側も確認項目を決める必要があります。入手元、版、評価結果、承認者を台帳化しておくと、事故時の切り戻しがしやすくなります。
