监控 Amazon Bedrock 的运行状况和性能 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控 Amazon Bedrock 的运行状况和性能

您可以使用 Amazon 监控您的 Amazon Bedrock 应用程序的所有部分 CloudWatch,亚马逊会收集原始数据并将其处理为可读的近乎实时的指标。您可以使用 CloudWatch控制台绘制指标的图表。此外,您还可以设置警报来监视特定阈值,并在值超出这些阈值时发送通知或采取措施。

有关更多信息,请参阅《亚马逊 CloudWatch 用户指南》 CloudWatch中的 “什么是亚马逊”。

Amazon Bedrock 运行时指标

下表描述了 Amazon Bedrock 提供的运行时指标。

指标名称 单位 描述
Invocations SampleCount ConverseConverseStreamInvokeModel、和InvokeModelWithResponseStreamAPI操作的请求数。

InvocationLatency

MilliSeconds

调用的延迟时间。

InvocationClientErrors

SampleCount

导致发生客户端错误的调用次数。

InvocationServerErrors

SampleCount

导致 AWS 服务器端错误的调用次数。

InvocationThrottles

SampleCount

系统限制的调用次数。

InputTokenCount

SampleCount

输入中的代币数量。

LegacyModelInvocations SampleCount 使用旧版模型的调用次数

OutputTokenCount

SampleCount

输出中的代币数量。

OutputImageCount

SampleCount

输出中的图像数量(仅适用于图像生成模型)。

CloudWatch Amazon Bedrock 的指标

对于每次成功或失败的配送尝试,都会在命名空间AWS/BedrockAcross all model IDs维度下发出以下 Amazon CloudWatch 指标:

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

要检索 Amazon Bedrock 操作的指标,请指定以下信息:

  • 指标维度。维度是用于标识指标的一组名称-值对。Amazon Bedrock 支持以下维度:

    • ModelId – 所有指标

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指标名称,如 InvocationClientErrors

您可以通过 AWS Management Console、或,获取 Amazon Bedrock 的 AWS CLI指标。 CloudWatch API您可以 CloudWatch API通过其中一个 AWS 软件开发套件 (SDKs) 或 CloudWatch API工具来使用。

要在 CloudWatch 控制台中查看 Amazon Bedrock 指标,请前往导航窗格的指标部分并选择所有指标选项,然后搜索型号 ID。

您必须拥有相应的 CloudWatch 权限才能监控 Amazon Bedrock。 CloudWatch 有关更多信息,请参阅亚马逊 CloudWatch 用户指南 CloudWatch中的亚马逊身份验证和访问控制