MGSM(エムジーエスエム)とは
MGSMとは、小学校算数レベルの文章題を複数言語で解かせ、AIの多言語推論を測るベンチマークです。英語で解けるだけでなく、日本語や他言語でも筋道を立てて考えられるかを見ます。多国籍展開を考える企業にとっては、言語を変えても同じ品質で考えられるかを見る補助線。
英語表記：Multilingual Grade School Math
多言語で「考え方」を見る
MGSMを紹介した2022年10月提出の論文では、GSM8Kの250問を10言語へ手作業で翻訳したと説明されています。これはChatGPT一般公開の2022年11月30日より前の研究で、当時から大規模言語モデルの推論力は多言語で検証されていたことが分かります。翻訳が自然かだけでなく、計算の筋道を保てるかが焦点。
Topic問題数より「同じ問題を多言語で」
MGSMは、ただ大量の問題を集めるのではなく、同じ算数問題を複数言語で比べる設計です。同じ考え方を別の言語で保てるかを見るため、グローバル利用時の品質差を考える材料になるでしょう。
MGSMに関するよくある質問
- MGSMは翻訳性能のベンチマークですか？
- 翻訳だけを見るものではありません。複数言語の算数文章題で、言語が変わっても推論の流れを保てるかを見るベンチマークです。
- MGSMは日本語対応のAI選定に使えますか？
- 多言語推論を見る参考にはなります。ただし、自社の日本語資料、専門用語、業務文脈で正しく答えるかは別に検証する必要があります。
