MirrorCodeとは

MirrorCodeとは、AIが元のコードを見ずに、既存のソフトウェアを一から作り直せるかを測るベンチマークです。Epoch AIとMETRが共同開発し、2026年6月に論文を公開しました。完成品に同じ入力を与え、元のソフトウェアと出力が一致するかを調べます。

完成したかは、何を見れば分かる?

対象は、データを圧縮する道具や、データの形式を変換・検索する道具など25種類のプログラム。たとえば、決められた形式で入力を受け付けるツールを置き換えるなら、普段と同じ入力から同じ結果が返ることを確認します。AIは元のソフトウェアを動かして出力を観察でき、説明書と入出力の例も受け取りますが、元のコードとインターネットには触れられません。完成品は、AIに見せなかったテストでも元と同じ出力が返るかで採点されます。

論文では、25本のうち17本で少なくとも1回は全テストに合格した一方、8本は一度も満点に届きませんでした。既存製品の振る舞いに合わせる試験なので、何を作るべきか顧客に相談して決める力や、完成後に長く保守できるかは別の論点です。また、元の公開コードがAIの事前学習に含まれた可能性を、研究者は排除していません。ただし、学習済みの疑いが無い対象でも解け、疑いのある対象でも解けなかった例があり、暗記だけで説明できる結果ではないと見ています。

ランキングの数字は何の結果?

運営元が更新するランキングは、2026年11月22日の確認時点で、中規模と大規模の15本(非公開の試験用2本を含む)を2種類の開発言語で作る30課題が対象です。各課題を3回試し、1回の上限は7日間と100億トークンで、対応するモデルは高い思考設定で動かす条件です。トークンは文章やコードを細かく数える単位で、論文によると、100億トークンはAnthropicの上位モデル(Opus 4.7)で約6,000米ドル分にあたります。論文とは課題や予算の設定が異なるため、得点は直接比べられないと運営元は説明しています。

自社の古いソフトウェアを入れ替える場面で参考になるのは、元の動作をテストとして確かめる考え方。必要な性能や引き継ぎやすさは、別の確認項目として用意できます。

Topic大規模課題の実験、1回に19日

公式サイトが紹介する大規模課題の実験では、人が途中で手を入れずにAIを19日間動かし、1回に約2,600米ドルかかりました(2026年6月の論文に掲載)。ランキングの7日枠とは別の実験です。1課題あたりの計算費用を約1〜10米ドルに抑える従来のコード試験が多い中で、時間も費用も桁が違います。

MirrorCodeに関するよくある質問

元のプログラムと同じ開発言語で書くのですか?
開発言語は試験の設定で指定されます。Epoch AIのランキングでは通常GoとAdaという異なる言語で同じ対象に取り組みます。評価は書いたコードの一致ではなく、同じ入力を渡したときの出力の一致です。
評価対象のプログラムは全部見られますか?
Epoch AIは対象25本のうち22本を公開し、残る3本を非公開の試験用にしています。ランキングの15本には非公開の2本が入るため、公開された22本だけではランキングの全課題を再現できません。

あわせて読みたい記事