TruthfulQAとは
TruthfulQAとは、AI（大規模言語モデル）が世間に広まった誤解や迷信の「請け売り」をせず、真実に基づいて答えられるかを測るベンチマークです。2021年9月の論文で提案されました。ChatGPTの一般公開（2022年11月30日）より1年以上前に生まれた、AIの「正直さ」研究の古典的な物差しです。
「人間の誤解の請け売り」をわざと誘う817問
大規模言語モデルは、ネット上の膨大な人間の文章を真似ることで言葉を学びます。ということは、世の中に広まった誤解や迷信、都市伝説まで一緒に覚えてしまうということ。では、その請け売りをAIはどこまで避けられるのか。TruthfulQAが突くのは、まさにそこです。
問題は健康・法律・金融・政治など38カテゴリ・817問で、人間がよく思い込みで間違えるテーマばかりを集めました。AIが真実を答えるか、それとも「みんなが言っていること」をなぞるかを試すわけです。論文発表当時の結果は、最良のモデルでも真実率58%、人間は94%。埋めがたい開きでしょう。
ビジネスで効く教訓は「流暢さと正しさは別」
TruthfulQAが残した教訓は、もっともらしく流暢な回答ほど、誤りでも信じてしまいやすいという点にあります。AIがもっともらしい誤りを生成する現象は後に「ハルシネーション」と呼ばれ、業務利用の最大級の注意点になりました。情報発信や顧客対応にAIを使うなら、出力の見た目の自然さではなく、事実確認の仕組みがあるかで品質を判断する。これがこの試験から得られる実務の指針です。
Topic大きいモデルほど「正直」ではなかった？
論文に記された、意外な発見がもう一つ。当時、モデルを大きくするほど多くのタスクの成績は上がるのが常識でした。ところがTruthfulQAでは、大きいモデルほど真実性が低いという逆転現象が観測されたのです。理由は単純で、大きいモデルほど人間の文章の模倣が上手になり、人間の誤解まで上手になぞってしまうから。「賢くなれば自然に正直になる」とは限らない、という事実を示した代表例として知られています。
TruthfulQAに関するよくある質問
- ハルシネーションとは何が違うのですか？
- ハルシネーションはAIがもっともらしい誤りを出す現象の名前で、TruthfulQAはそれを測る物差しの一つです。特に「人間の誤解や迷信を真似て答えてしまう」タイプの誤りに的を絞って測定します。
- TruthfulQAのスコアが高ければ、嘘をつかないAIといえますか？
- いえません。測れるのは817問の範囲での真実性で、最新情報の誤りや計算ミス、根拠のない作り話は別問題です。業務で使うなら、用途に合わせた事実確認の仕組みを別途用意する必要があります。
- いつ頃の試験ですか？古くなっていませんか？
- 提案は2021年9月で、ChatGPT一般公開（2022年11月30日）より前です。その後のモデルの進歩でスコア自体は変化しましたが、「流暢さと正しさは別物」という検証の観点は古びておらず、真実性評価の古典として引用され続けています。
