HELM(ヘルム)とは

HELMとは、AIを精度という一つの点数だけでなく、頑健性・公平性・効率など複数のものさしで多面的に評価する、スタンフォード大学発の評価フレームワークのことです。「AIを一つの数字で判断するのは危険」という考え方を体系化したもので、モデルの弱点まで見えるようにすることを狙っています。

一つの点数でなく、複数のものさしで測る

HELMは2022年11月、スタンフォード大学の研究センター（CRFM）が公開しました。正式名称はHolistic Evaluation of Language Models（言語モデルの全体的評価）です。精度・頑健性・公平性・バイアス・有害性・効率（コスト）など、複数の指標を横断して評価するのが核心で、多数のモデルとシナリオを格子状に並べて測ります。後継のHELM Capabilities（2025年3月公開）では、評価項目にMMLU-ProやGPQAといった難関ベンチマークも組み込まれています。

HELMは「点数」ではなく「枠組み」

誤解しやすいのは、HELMは「HELMスコア80点」のような単一の数字ではなく、複数の指標とシナリオを横断する評価の仕組みそのものを指すという点です。同じモデルでも、精度は高いのに偏りや有害な発言のリスクが大きい、あるいはコストが悪い、といった弱点は一つのスコアでは見えません。HELMはそれらを並べて見せることで、「自社の用途にどのモデルが本当に向くか」を多角的に判断できるようにします。

なおHELMは固定された一つのベンチマークではなく、Classic・Safety・Capabilities・医療特化のMedHELMなど、複数の版に進化し続けている総称でもあります。「HELM」と言っても、文脈によってどの版を指すかが変わる点は押さえておきたいところです。読み方の「ヘルム」は頭文字をつなげたもので、舵を意味する英単語とは関係ありません。

HELMに関するよくある質問

HELMはMMLUのようなベンチマークと何が違いますか？

MMLUなどが主に「精度（正答率）」という一つの指標で測るのに対し、HELMは精度に加えて頑健性・公平性・有害性・効率（コスト）など複数のものさしで多面的に評価する“枠組み”です。2022年11月にスタンフォード大学の研究センターが公開し、「AIを一つの数字で判断するのは危険」という考え方を体系化しました。

HELMは一つのスコアで表されますか？

いいえ。HELMは「80点」のような単一の数字ではなく、複数の指標とシナリオを横断する評価の仕組みそのものを指します。精度は高いのに偏りや有害な発言のリスクが大きい、コストが悪い、といった弱点を並べて見せることで、自社の用途にどのモデルが向くかを多角的に判断できます。

HELMはなぜ画期的だったのですか？

それまでのAI評価に潜む「抜け穴」を見せたためです。公開時の調査では、主要モデルと標準的なテストの組み合わせのうち実際に評価が行われていたのはわずか17.9%でした。HELMは標準化された格子ですべてを測り直し、その割合を96.0%まで引き上げました。「都合のいい数字だけを見せる」評価への異議申し立てでした。