Double-Blind Evaluationとは
Double-Blind Evaluationとは、AIモデルと評価問題を互いに相手へ見せず、保護された計算環境の中だけで性能や安全性を測る評価枠組みです。モデルの知的財産と、未知の試験問題の両方を守るところに特徴があります。
英語表記：Double-Blind Evaluation (DBE) Framework
2026年8月27日に、Google DeepMind、MLCommons、OpenMined、AVERI、シンガポールのAI安全研究所が関わった概念実証が公開された段階です。AVERIは、AIの検証と評価を専門とする第三者組織（AI Verification and Evaluation Research Institute）を指します。その実証では、Gemini 2.5 Flash Liteを、どのモデルも一度も処理したことのないMLCommonsの安全性ベンチマーク「AILuminate」の非公開問題などで評価しました。一般向けの評価サービスとして普及した、という意味ではありません。
2つの秘密を開けずに評価する仕組み
モデル保有者は、モデルの重みと実行用コードを用意します。評価者は、非公開のベンチマーク問題と採点コードを用意。両者は実行前にリモートアテステーションを行い、「予定したソフトウェア構成で、改ざんされずに起動しているか」を暗号技術で確かめます。
確認後、両方の秘密資産は暗号化通信で信頼実行環境へ送られます。ここは、管理者も中身を簡単にはのぞけない「鍵付きの計算室」のような環境です。中で評価を実行し、事前に許可された集計結果だけを取り出すのが基本です。パイロットはGoogleのConfidential Space、NVIDIA H100 Confidential GPU、Intel TDX、PySyftを組み合わせました。技術報告は、この構成による計算上の追加負担を5%未満と説明しています。安全のための「箱」に入れること自体が、評価を大きく遅くするわけではありません。
通常の外部評価と何が違うのか？
通常の非公開モデル評価では、評価者が問題をモデル企業へ渡すか、モデル企業がモデルを評価者へ渡すか、という二択になりがちです。前者はデータ汚染を招き、後者は巨額の開発費をかけたモデルの知財を流出させる恐れがあります。契約や「ログを残さない」という運用で漏えいを抑えても、技術的な証明にはなりません。
Double-Blind Evaluationは、「お互いに見ない」状態を会社間の約束だけでなく、ハードウェアと暗号技術で補強します。ただし、出たスコアの意味、問題の代表性、レッドチーミングの設計まで良くなるわけではありません。機密性と、評価自体の妥当性は別々に審査する必要があります。
経営者にとってどんな意味がある？
金融、医療、政府、サイバーセキュリティなどでは、自社の機密データや未公開の攻撃手法を評価に使いたい場面も少なくありません。モデル企業のサーバーへそのまま送るのが難しいとき、両者が受け入れる「中立な計算室」を作れるなら、外部のAI監査や第三者評価の選択肢が広がるでしょう。
調達や監査では、「評価済み」という言葉だけでなく、①問題を開発者から隠したか、②実行環境を双方が検証したか、③外へ出す結果を事前に制限したか、④問題の更新や保管を独立組織が管理したかを確認します。これで、スコアを信じる根拠を「有名企業の発表」から「検証できる手順」へ近づけられます。
安全な箱だけでは完成しない
ハードウェアエンクレーブは、「破られないことを保証する箱」ではありません。実行するファームウェア、OS、ランタイム、アプリまでを信頼できる状態に保ち、脆弱性と外部通信を点検しなければなりません。また、クラウド事業者とチップメーカーが共謀しないという信頼が残る前提です。
公表された実証では、一部の独自コードを全て検査できず、Googleの証明サービスも信頼経路に入りました。技術報告は、計算時間よりも契約調整とコードレビューの人的負担が主なボトルネックだったと説明しています。技術名だけで安全と判定せず、信頼する事業者、実行コード、出力範囲、責任分界を契約と技術の両方で固定することが必要です。
Topic「二人の大富豪」の難問がAI評価につながった
技術報告は、暗号技術の古典問題「Millionaire’s Problem」を例に出しています。二人の大富豪が、お互いの資産額を教えずに、どちらが裕福かだけを知るという問題です。ただし技術報告は、この古典がそのままでは使えないとも断っています。大富豪たちは動かすプログラムを二人とも読んで合意でき、持ち寄るのは金額という「データ」だけ。ところがAIの評価では、双方が自分の「プログラム」まで持ち寄る必要があり、そのプログラム自体に企業秘密が入っているのです。
Double-Blind Evaluationに関するよくある質問
- 評価コードは一方の承認だけで実行されますか？
- 公表されたPySyft手順では、両方が提出内容をレビューし、双方の承認が環境に届いた後に実行します。どちらに結果を返すかも、提出時に指定できます。
- 保護環境を起動した側は特別な権限を持ちますか？
- 技術報告の手順では、起動側は環境を停止できます。ただし、中の秘密資産を読むなど、もう一方より広いアクセス権を得る設計ではありません。
- 評価後に生のプロンプトや回答も取り出せますか？
- 出力する結果は、双方が事前に許可した計算と出力ポリシーで決まります。問題やモデル情報を復元しうる生データを無条件に返すのではなく、集計指標などに絞ります。
- 大規模モデルを複数の計算機に分けた評価も実証済みですか？
- 公開パイロットは1台のNVIDIA H100を備えた環境で実施されました。複数のH100やB200を暗号化接続した分散環境への拡張は、技術報告で次の研究段階とされています。
