CoffeeBench(コーヒーベンチ)とは
CoffeeBenchとは、LLMエージェントが長期の経済活動をどれだけうまく進められるかを調べるためのベンチマークです。2026年6月にarXivへ投稿された論文では、複数の企業が参加するコーヒー取引の90日シミュレーションで、エージェントの交渉、取引、在庫、価格判断を評価すると説明されています。
英語表記：CoffeeBench
短い正解問題ではなく商売をさせる
多くのAI評価は、問題に答える、コードを書く、要約するなど、比較的短いタスクを見ます。CoffeeBenchはそれとは違い、複数の会社が存在する経済環境の中で、長期的に意思決定を続ける力を見る評価です。
論文の説明では、農家、焙煎業者、小売業者が登場し、評価対象のモデルは1つの焙煎業者を動かします。売上だけでなく、やり取り、価格、在庫、現金管理が絡むため、計画して動き続けるAIエージェントの評価に近いベンチマークと言えます。
経営で見る意味
CoffeeBenchが示している関心は、AIがその場の答えを出せるかではなく、複数の相手と関係しながら、時間をまたいで利益や制約を考えられるかです。営業、購買、在庫、価格調整のような業務AIを見る時の発想に近いでしょう。
ただし、これは特定の実験環境での評価です。実店舗や実取引の成果をそのまま予測するものではありません。ベンチマークは「得意不得意を発見する道具」であり、導入可否の最終判断ではない点に注意します。
Topic90日分の商売を続けさせる
CoffeeBenchの面白い点は、1問1答ではなく、90日間のシミュレーションで企業活動を続けさせるところです。AIがその場では筋の通った計画を出しても、翌日以降に何もしない、交渉を続けられない、といった長期運用の弱点が見えやすくなる設計です。
CoffeeBenchに関するよくある質問
- CoffeeBenchの点数だけでAIを選べますか？
- 選べません。CoffeeBenchは長期の経済シミュレーションを見る評価であり、実際の自社業務、データ、権限設計、失敗時の止め方まで含めた導入判断が別に必要です。
- なぜコーヒー取引なのですか？
- 農家、焙煎業者、小売業者という役割があり、交渉、在庫、価格、現金管理が絡むためです。短い正解問題では見えにくい長期行動を観察しやすくなります。
