監控 Amazon Bedrock 的運作狀態和效能 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控 Amazon Bedrock 的運作狀態和效能

您可以使用 Amazon 監控 Amazon Bedrock 應用程式的所有部分 CloudWatch,這些部分會收集原始資料,並將其處理為可讀取的近乎即時的指標。您可以使用主控台繪製指標 CloudWatch。您也可以設定留意特定閾值的警示,當超出這些閾值時傳送通知或採取動作。

如需詳細資訊,請參閱 Amazon 使用者指南 中的什麼是 CloudWatch Amazon CloudWatch

Amazon Bedrock 執行期指標

下表說明 Amazon Bedrock 提供的執行期指標。

指標名稱 單位 描述
調用 SampleCount Converse ConverseStreamInvokeModelInvokeModelWithResponseStreamAPI操作的請求數。

InvocationLatency

MilliSeconds

調用的延遲。

InvocationClientErrors

SampleCount

導致用戶端錯誤的調用數量。

InvocationServerErrors

SampleCount

導致 AWS 伺服器端錯誤的叫用次數。

InvocationThrottles

SampleCount

系統限流的調用數量。

InputTokenCount

SampleCount

輸入中的權杖數目。

LegacyModelInvocations SampleCount 使用舊版模型的調用次數

OutputTokenCount

SampleCount

輸出中的權杖數目。

OutputImageCount

SampleCount

輸出中的映像數量 (僅適用於映像產生模型)。

CloudWatch Amazon Bedrock 的指標

對於每次交付成功或失敗嘗試,都會在命名空間 AWS/Bedrock、 和Across all model IDs維度下發出下列 Amazon CloudWatch 指標:

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

若要擷取 Amazon Bedrock 操作的指標,您必須指定下列資訊:

  • 指標維度。維度是一組用來識別指標的名稱與數值對。Amazon Bedrock 支援以下維度:

    • ModelId – 所有指標

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指標名稱,例如 InvocationClientErrors

您可以使用 AWS Management Console、 AWS CLI或 取得 Amazon Bedrock 的指標 CloudWatch API。您可以透過 CloudWatch API其中一個 AWS 軟體開發套件 (SDKs) 或工具使用 CloudWatch API。

若要在 CloudWatch 主控台中檢視 Amazon Bedrock 指標,請前往導覽窗格中的指標區段,然後選取所有指標選項,然後搜尋模型 ID。

您必須具有適當的 CloudWatch 許可,才能使用 CloudWatch 如需詳細資訊,請參閱 Amazon CloudWatch 使用者指南 中的 Amazon 的身分驗證和存取控制 CloudWatch