기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
직접 호출을 사용하는 다중 컨테이너 엔드포인트에 대한 지표
에 나열된 엔드포인트 지표 외에도 Amazon을 사용하여 Amazon SageMaker AI를 모니터링하기 위한 지표 CloudWatch SageMaker AI는 컨테이너별 지표도 제공합니다.
직접 호출이 있는 멀티컨테이너 엔드포인트에 대한 컨테이너별 지표는에 위치 CloudWatch 하며 AWS/SageMaker 및 라는 두 개의 네임스페이스로 분류됩니다aws/sagemaker/Endpoints. AWS/SageMaker 네임스페이스에는 호출 관련 지표가 포함되고 네aws/sagemaker/Endpoints임스페이스에는 메모리 및 CPU 사용률 지표가 포함됩니다.
다음 표에는 직접 호출이 가능한 다중 컨테이너 엔드포인트에 대한 컨테이너별 지표가 나열되어 있습니다. 모든 지표는 [EndpointName, VariantName,
ContainerName] 차원을 사용합니다. 이 차원은 특정 엔드포인트에서 특정 변형에 대해 특정 컨테이너에 해당하는 지표를 필터링합니다. 이러한 지표는 추론 파이프라인용 지표과 동일한 지표 이름을 공유하지만 컨테이너별 수준 [EndpointName, VariantName, ContainerName]에서 공유합니다.
| 지표 이름 | 설명 | 차원 | NameSpace |
Invocations
|
엔드포인트 내 컨테이너로 전송된 InvokeEndpoint 요청 수입니다. 해당 컨테이너에 전송된 총 요청 수를 가져오려면 Sum 통계를 사용합니다. 단위: 없음 유효한 통계: Sum, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation4XX Errors
|
모델이 특정 컨테이너에서에 대한 4xx HTTP 응답 코드를 반환한 InvokeEndpoint 요청 수입니다. 각 4xx 응답에 대해 SageMaker AI는를 전송합니다1. 단위: 없음 유효한 통계: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
Invocation5XX Errors
|
모델이 특정 컨테이너에서에 대한 5xx HTTP 응답 코드를 반환한 InvokeEndpoint 요청 수입니다. 각 5xx 응답에 대해 SageMaker AI는를 전송합니다1. 단위: 없음 유효한 통계: Average, Sum |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
ContainerLatency
|
대상 컨테이너가 SageMaker AI에서 보는 대로 응답하는 데 걸린 시간입니다. 에는 요청을 보내고, 모델의 컨테이너에서 응답을 가져오고, 컨테이너에서 추론을 완료하는 데 걸린 시간이 ContainerLatency 포함됩니다. 단위: 마이크로초 유효한 통계: Average, Sum, Min, Max, Sample Count |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
OverheadLatency
|
오버헤드에 대한 SageMaker AI의 클라이언트 요청에 응답하는 데 걸리는 시간에 추가된 시간입니다. OverheadLatency는 SageMaker AI가 요청을 받은 시점부터 클라이언트에 응답을 반환할 때까지 측정되며에서를 뺀 값입니다ModelLatency. 오버헤드 지연 시간은 특히 요청 및 응답 페이로드 크기, 요청 빈도와 요청 인증 또는 권한 부여 등과 같은 요인에 따라 달라질 수 있습니다. 단위: 마이크로초 유효한 통계: Average, Sum, Min, Max, `샘플 개수` |
EndpointName, VariantName,
ContainerName
|
AWS/SageMaker |
CPUUtilization
|
인스턴스에서 실행되는 각 컨테이너에서 사용되는 CPU 단위의 백분율입니다. 값은 0% ~ 100% 범위이며의 수를 곱합니다CPUs. 예를 들어가 4개인 경우는 0%에서 400% 사이일 CPUs CPUUtilization 수 있습니다. 직접 호출이 있는 엔드포인트의 경우 CPUUtilization 지표 수는 해당 엔드포인트의 컨테이너 수와 같습니다. 단위: 백분율 |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
MemoryUtilizaton
|
인스턴스에서 실행 중인 각 컨테이너에서 사용하는 메모리의 비율(%)입니다. 해당 값 범위는 0% ~ 100%입니다. 와 마찬가지로 직접 호출이 있는 엔드포인트CPUUtilization에서 MemoryUtilization 지표 수는 해당 엔드포인트의 컨테이너 수와 같습니다. 단위: 백분율 |
EndpointName, VariantName,
ContainerName
|
aws/sagemaker/Endpoints |
위 표의 모든 지표는 직접 호출을 사용하는 다중 컨테이너 엔드포인트에만 해당됩니다. 이러한 특수 컨테이너별 지표 외에도 테이블의 모든 지표에 대해 ContainerLatency를 예상하는 차원 [EndpointName, VariantName]을 포함하는 변형 수준의 지표도 있습니다.
