Amazon Bedrock AgentCore Evaluationsとは
Amazon Bedrock AgentCore Evaluationsとは、AIエージェントの回答と行動を、実行記録から継続的に採点するAWSの評価機能です。本番公開前のテストと、公開後の品質監視を同じ評価基準でつなぐ役割を担います。
英語表記：Amazon Bedrock AgentCore Evaluations
2026年3月31日に一般提供され、東京を含むAWSリージョンで利用できます。評価対象は最終回答だけではありません。どのツールを選んだか、依頼を完了したか、安全上の問題がないかといったエージェント特有の品質も見ます。
どのように評価を使い分ける？
公式ドキュメントは、オンライン、オンデマンド、バッチの3方式を案内しています。オンライン評価は本番のやり取りを一部取り出して継続監視し、オンデマンド評価は開発中の実行記録をその場で検査。バッチ評価は、正解付きのデータセットなどをまとめて比較します。
応答品質、安全性、タスク完了、ツール利用などは、AWSがあらかじめ用意した採点項目（組み込み評価器）から選ぶ形です。自社独自の基準は、LLM-as-a-JudgeのようにAIへ採点させる方法か、Lambda上のコードで判定する方法で追加できます。定性的な良さはAI採点、必須項目や禁止値はコード判定と役割を分けると、曖昧さを減らせるでしょう。
導入時に何を決めるべきか？
最初に、顧客満足度のような事業KPIと、回答の正確性、手順順守、禁止行動などの品質指標を分けます。生成AI評価の点数が上がっても、解決時間や再問い合わせ率が悪化すれば改善とは言えません。
次に、正常例だけでなく、曖昧な依頼、権限不足、外部サービス停止、入力の不足などを評価セットへ入れます。平均点だけで公開可否を決めず、重大事故につながる失敗を個別の合格条件にすることが必要です。モデルやprompt、ツールを変えた後は同じ評価セットを再実行し、以前できたことが壊れていないかを確かめます。
Topic正解でも「通った道」が違えば検出できる
Amazon Bedrock AgentCore Evaluationsに関するよくある質問
- 組み込み評価器だけで自社エージェントを判定できますか？
- 一般的な応答品質や安全性の出発点にはなりますが、自社の規程、禁止操作、必須項目は独自評価として追加します。曖昧な品質はモデル、厳密な条件はコードで判定する方法があります。
- AgentCore Evaluationsの点数が高ければ本番公開できますか？
- 点数だけでは決めません。重大な失敗の個別条件、業務KPI、人による確認、権限や監査の検査を合わせて公開判断を行います。
- モデルを変更したときにも同じ評価を使えますか？
- 同じ正解付きデータと失敗条件を再利用すれば、変更前後の回帰確認に使えます。ただし採点側のモデルも変える場合は、評価尺度そのものが動いていないかを別に確かめます。
