本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
结果和输出
在线评估结果会自动保存到亚马逊 CloudWatch。默认情况下,该服务将它们作为 JSON 日志条目写入专用 CloudWatch 日志组。
日志组结构
如果您使用默认的专用目的地,则该服务会将评估结果写入/aws/bedrock-agentcore/evaluations/results/<online-evaluation-config-id>。您可以在 Amazon Bedrock AgentCore 控制台的评估详细信息页面上查看配置的已解析结果日志组。
每次评估都会在此日志组中生成一个单独的日志条目。此外,评估分数作为监控和分析的 CloudWatch 指标发布。
选择写入结果的位置
使用resultDestinationoutputConfig.cloudWatchConfig来选择在线评估结果的写入位置。如果您未进行设置,则该服务使用专用的日志组:
-
DEDICATED_LOG_GROUP(默认)-将结果写入专用的结果日志组。如果您未设置logGroupName,则该服务使用/aws/bedrock-agentcore/evaluations/results/<online-evaluation-config-id>。要使用不同的专用日志组,请设置logGroupName(参见使用自定义输出日志组)。 -
SOURCE_LOG_GROUP— 将结果写回提供代理跟踪的同一个日志组,因此评估结果与其评分的跟踪一起显示。不要在使用此值logGroupName时进行设置。
使用自定义输出日志组
如果resultDestination是DEDICATED_LOG_GROUP,则可以设置logGroupName为将结果发送到您选择的日志组。如果日志组已经存在,则服务按原样使用它。如果它不存在,则服务会创建它,因此评估执行角色必须允许logs:CreateLogGroup该日志组。除了此配置自己的服务管理的默认组外,该名称不能使用保留/aws/bedrock-agentcore/evaluations/的前缀。
# Write results back to the trace source log group outputConfig={"cloudWatchConfig": {"resultDestination": "SOURCE_LOG_GROUP"}} # Write results to a custom dedicated log group outputConfig={"cloudWatchConfig": {"resultDestination": "DEDICATED_LOG_GROUP", "logGroupName": "/my/team/evaluation-results"}}
将指标发布到自定义命名空间
评估分数也作为 CloudWatch 指标发布。默认情况下,该服务使用Bedrock-AgentCore/Evaluations命名空间。要在自己的命名空间下发布指标,例如按团队或租户分隔结果,请设置metricsNamespaceoutputConfig.cloudWatchConfig。该值不能以此开头AWS/。
outputConfig={"cloudWatchConfig": {"metricsNamespace": "MyTeam/Evaluations"}}
结果格式
评估结果遵循 GenAI 评估结果事件的 OpenTelemetry 语义惯例。如果可能,每个事件都以原始跨度 ID 为父对象,并包括原始跟踪 ID 和会话 ID。
您可以使用 CloudWatch Logs Insights 来查询和分析您的评估结果,使用 CloudWatch 指标来监控一段时间内的评估趋势。
在可观 CloudWatch 测性控制台中查看结果
您可以使用可观 CloudWatch 测性控制台查看和分析您的评估结果。该控制台提供代理评估的可视化效果、指标和详细日志。
查看评估结果
-
在以下位置打开 CloudWatch 控制台 https://console.aws.amazon.com/cloudwatch/
-
在导航窗格中,选择 GenAI 可观测性 > 基岩 AgentCore
-
在 “代理” 部分下,选择与您的评估配置关联的代理和端点
-
导航到 “评估” 选项卡以查看详细结果
有关更多详细信息,请参阅AWS CloudWatch 会话跟踪评估文档。
在 M CloudWatch etrics 中查看评估分数
评估分数作为 CloudWatch 指标发布。默认情况下,它们出现在Bedrock-AgentCore/Evaluations命名空间中。如果您进行了设置metricsNamespace,请在中浏览指标时改为查找该自定义命名空间 CloudWatch。
查看评估分数
-
在以下位置打开 CloudWatch 控制台 https://console.aws.amazon.com/cloudwatch/
-
在导航窗格中,选择指标 > 所有指标
-
在 “浏览” 选项卡中,选择Bedrock-AgentCore/Evaluations或您在中配置的自定义命名空间
outputConfig.cloudWatchConfig.metricsNamespace -
选择维度组合,有选择地按评估器类型或评估标签缩小结果范围
有关更多详细信息,请参阅AWS CloudWatch 会话跟踪评估文档。