SOTAとは

SOTAとは、ある課題において、その時点で最も高い性能を達成している状態や手法を指す言葉です。State-of-the-Art（その分野で最も進んだ水準）の略で、AIの研究では「このモデルがSOTAを更新した」のように、世界記録のような意味合いで使われます。

ベンチマークと一緒に語られる

SOTAは、性能を測るベンチマーク（共通テスト）とセットで語られます。あるテストで最も高いスコアを出したモデルが、その課題の「SOTA」とされるわけです。ここで注意したいのは、SOTAはあくまで「今のところ一番」であって、すぐに塗り替えられること。たとえば言語理解のGLUEは、2018年の登場後まもなく性能が頭打ちになり、2019年にはより手強いSuperGLUEへと作り替えられました。

SOTAに関するよくある質問

SOTAとはどういう意味で、どう使われますか？

State-of-the-Art（その分野で最も進んだ水準）の略で、ある課題で今もっとも高い性能を達成している状態や手法を指します。AI研究では「このモデルがSOTAを更新した」のように世界記録のような意味で使われ、性能を測るベンチマーク（共通テスト）とセットで語られます。

SOTAになれば、その性能は安泰なのですか？

いいえ。SOTAはあくまで「今のところ一番」で、ときに数か月で塗り替えられます。言語理解のGLUEは2018年の登場後まもなく性能が頭打ちになり、2019年にはより手強いSuperGLUEへ作り替えられました。研究者はより難しいテストを次々に作り続けています。