AppSci-Benchとは

AppSci-Benchとは、大規模言語モデルが業務向けのAIエージェントをどれだけ安定して作れるかを測るベンチマークです。ベンチマークは性能を同じ条件で比べる試験。Uniphore社の研究者が2026年11月19日に投稿した論文は、依頼側から要件を聞き出し、成果物を作って試すまでを試験の対象としています。各モデルの点数を測ったのも、この著者たちです。

どこまでを「作れる」として測る?

作り手役のAIは、模擬の依頼者から用途を聞き、用意された業務データや使える道具を調べます。課題は請求書の点検、資料作成、顧客対応など7分野。たとえば請求書の点検なら、仕入先から届いた請求書を契約や社内ルールと照らし、人が止めて確かめるべきものを選び出す仕組み自体を作る課題です。

納品物の採点には、制作中には見せなかった事例を使います。作り手が自分で用意した練習問題の出来と、初めて見るケースで完成品が働くかは、別の採点です。

同じ依頼から3回作る理由は?

著者は、同じ依頼から独立に作った3つの成果物を、同じ事例に当てます。事例ごとに3つのうち最も低い点を取り、それを平均する方式です。1回の出来ではなく毎回同じ水準で作れるかを見るためで、使える成果物を出せない回が1回でもあると、その課題は0点になります。

試した組み合わせで最も高かったのは、Claude Opus 5を作り手に充て、開発用の道具にClaude Codeを使い、改善機能(作り手が自分で練習問題を作り、出来を確かめて直す工程)を有効にした場合の59.1%。同じモデルでも著者の実験用の道具では、改善機能を切った場合が55.7%、有効にした場合は44.7%でした。著者は、改善機能を入れても得点が上がるとは言えなかったと報告しています。

数字はこの業務設定と採点法での結果です。著者は、道具によって計算の予算が揃っていない点や、模擬の依頼者と採点役の一部に使うAIの判断が揺れる点も挙げています。自社で試すなら、作り手が知らない例を評価用にとっておくと、作り手の試験とは別に検収できます。

Topic顧客との通話の記録は、実在の会話を使わずに用意した

顧客との通話の文字起こしから記録を作る課題では、本物の顧客の文字起こしを一切使わず、評価用に50件の架空の通話を用意しました。研究チームはAIで作った内容を、担当者がルールに照らして抜き取りで確認。業務に似せた材料を作る工程にも、人の確認が入っています。

AppSci-Benchに関するよくある質問

依頼者は初めから全部の要件を教えますか?
模擬の依頼者に質問して初めて得られる要件があり、何を聞き出せたかも評価されます。正解として事前に整理された指示を渡すだけの試験より、相談しながら仕事を詰める場面に近い設定です。
評価用のコードとデータは同じ条件で再利用できますか?
著者の公開リポジトリは、評価用コードをApache 2.0、データをCC BY-NC 4.0として公開しています。データは非商用の目的に限り、出典を示して使える条件です。第三者の資料から作ったデータには元の資料の条件も残るため、コードの条件だけで再利用の可否は判断できません。

あわせて読みたい記事