MathVistaとは
MathVistaとは、図や表を見ながら数学的に考えられるかを測るAIベンチマークです。LLMやマルチモーダルAIが、文章だけでなく図形、グラフ、表、科学図を読んで答えを出せるかを見ます。社内資料でいえば、図表つきのレポートを読んで判断できるかに近い能力です。
文章問題だけでは見えない力
MathVistaの公式ページでは、31の異なるデータセットから集めた6,141例を含むと説明されています。算数の文章問題だけでなく、図形問題、関数グラフ、表、科学図などを扱う構成。AIが「文章は読めるが図の意味を取り違える」場合、このような評価で差が出るでしょう。導入判断では、自社の図表資料で同じ検証をする視点が重要です。
Topic答えを公開しないテストがある
MathVistaでは、お試し用の小さな問題セット（testmini）とは別に、本番の評価に使う問題セット（test）が用意され、公式ページではそちらの答えラベルを公開しないと説明されています。AIが過去問を覚えるほど、評価側も答えの管理が重要になるということです。
MathVistaに関するよくある質問
- MathVistaは数学が得意なAIを探すための指標ですか？
- 数学力を見る指標のひとつですが、特徴は図や表を含むことです。文章だけの計算問題より、視覚情報を読んで考える力が問われます。
- MathVistaの結果は業務資料の読解精度を保証しますか？
- 保証はしません。図表を読む力の参考にはなりますが、自社の帳票、グラフ、スライドでの検証は別に必要です。
