SimpleQA(シンプルキューエー)とは

SimpleQAとは、LLMが短い事実確認の質問に正しく答えられるかを測るOpenAIのベンチマークです。人物、出来事、作品、科学など、答えが1つに定まりやすい質問を使い、AIのハルシネーションを見ます。長い文章のうまさではなく、「知っていることを正しく答え、知らないことを無理に言わない」能力を見る試験です。

事実性をどう測るのか

SimpleQAでは、モデルの回答を「正しい」「間違い」「回答を試みていない」の3つに分けます。OpenAI公式記事では、質問が短く、答えが明確で、採点しやすいことを重視したと説明されています。これは、社内AIでいうと「それらしい長文」ではなく、顧客名、日付、制度名、商品番号のような一点の事実を外さないかを見る感覚に近いでしょう。

使いどころと限界

SimpleQAは、ハルシネーション対策の入口として役立ちます。ただし、測っているのは短い事実質問です。提案書、契約書レビュー、調査レポートのように複数の主張が混ざる長文の品質を、そのまま保証するものではありません。導入判断では、短い事実確認はSimpleQA型、長い業務文書は別の検証というように、評価の物差しを分ける必要があります。

SimpleQAに関するよくある質問

SimpleQAはハルシネーション対策に使えますか？

使えますが、短い事実質問に限った評価です。社内の長文レポートや複雑な判断まで保証するものではないため、用途ごとの追加検証が必要です。

SimpleQAで「答えない」が評価されるのはなぜですか？

AIが知らないことを無理に作ると業務リスクになるためです。正解数だけでなく、確信がない時に止まれるかを見ることで、実務での信頼性を測りやすくなります。

SimpleQAは検索付きAIの評価ですか？

主眼は短い事実質問への回答能力です。検索機能そのものの評価というより、モデルが事実をどれだけ正しく扱えるかを見るための物差しです。