具有直接調用的多容器端點指標 - Amazon SageMaker

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

具有直接調用的多容器端點指標

除了 中列出的端點指標之外 SageMaker 使用 Amazon 監控 Amazon 的指標 CloudWatch， SageMaker 還提供每個容器的指標。

具有直接調用之多容器端點的每個容器指標位於 中 CloudWatch ，並分為兩個命名空間： AWS/SageMaker和 aws/sagemaker/Endpoints。AWS/SageMaker 命名空間包含調用相關指標，aws/sagemaker/Endpoints命名空間包含記憶體和CPU使用率指標。

下表列出具有直接調用之多容器端點的每個容器指標。所有指標都使用 [EndpointName, VariantName, ContainerName] 維度，該維度會針對特定變體篩選特定端點的指標，並對應於特定容器。這些指標與推論管道共用相同的指標名稱，但僅限每個容器層級 [EndpointName, VariantName, ContainerName]。

指標名稱 描述 維度 NameSpace
Invocations 傳送至端點內容器的 InvokeEndpoint請求數量。若要取得傳送至容器的請求總數，請使用 Sum統計資料。單位：無有效統計資料：Sum、Sample Count EndpointName, VariantName, ContainerName AWS/SageMaker
Invocation4XX Errors 模型在特定容器上傳回 4xxHTTP回應碼的InvokeEndpoint請求數目。針對每個4xx回應， SageMaker 傳送 1。單位：無有效統計資料：Average、Sum EndpointName, VariantName, ContainerName AWS/SageMaker
Invocation5XX Errors 模型在特定容器上傳回 5xxHTTP回應碼的InvokeEndpoint請求數目。對於每個5xx回應， SageMaker 會傳送 1。單位：無有效統計資料：Average、Sum EndpointName, VariantName, ContainerName AWS/SageMaker
ContainerLatency 從 中檢視的目標容器回應所花費的時間 SageMaker。 ContainerLatency包含傳送請求、從模型的容器擷取回應，以及完成容器中推論所花費的時間。單位：微秒有效統計資料：Average、Sum、Min、Max、Sample Count EndpointName, VariantName, ContainerName AWS/SageMaker
OverheadLatency 新增至 回應用戶端請求所需的時間 SageMaker ，以用於額外負荷。 OverheadLatency 是從 SageMaker 接收請求的時間開始測量，直到用戶端傳回回應為止，減去 ModelLatency。額外負荷延遲可能隨著請求和回應承載大小、請求頻率，以及請求的身分驗證或授權等因素而不同。單位：微秒有效統計資料：Average、Sum、Min、Max、'樣本計數' EndpointName, VariantName, ContainerName AWS/SageMaker
CPUUtilization 在執行個體上執行的每個容器所使用的CPU單位百分比。值的範圍從 0% 到 100%，乘以 的數量CPUs。例如，如果有四個 CPUs， 的範圍CPUUtilization可以從 0% 到 400%。對於具有直接調用的端點，CPUUtilization指標數量等於該端點中的容器數量。單位：百分比 EndpointName, VariantName, ContainerName aws/sagemaker/Endpoints
MemoryUtilizaton 執行個體上執行的各個容器所使用的記憶體百分比。這個值的範圍從 0% 到 100%。與 類似CPUUtilization，在具有直接調用的端點中， MemoryUtilization 指標的數量等於該端點中的容器數量。單位：百分比 EndpointName, VariantName, ContainerName aws/sagemaker/Endpoints

上表中的所有指標都特定於具有直接調用的多容器端點。除了這些特殊的每個容器指標之外，在變體層級也有指標 [EndpointName, VariantName]，其中包含表格中所有預期 ContainerLatency指標的維度。