Métricas de CloudWatch para implementaciones de puntos de conexión multimodelo
Amazon SageMaker proporciona métricas para puntos de conexión a fin de que pueda supervisar la tasa de aciertos de caché, el número de modelos cargados y los tiempos de espera del modelo para cargar, descargar y cargar en un punto de conexión multimodelo. Algunas de las métricas son diferentes para los puntos de conexión multimodelo respaldados por CPU y GPU, por lo que en las siguientes secciones se describen las métricas de Amazon CloudWatch que puede usar para cada tipo de punto de conexión multimodelo.
Para obtener más información sobre las métricas, consulte Métricas de carga de modelo de punto de conexión multimodelo y Métricas de instancia de modelo de punto de conexión multimodelo en Métricas para supervisar Amazon SageMaker con Amazon CloudWatch. Las métricas por modelo no son compatibles.
Métricas de CloudWatch para puntos de conexión multimodelo respaldados por CPU
Puede supervisar las siguientes métricas en puntos de conexión multimodelo respaldados por CPU.
El espacio de nombres AWS/SageMaker contiene las siguientes métricas de carga del modelo de las llamadas a InvokeEndpoint.
Las métricas están disponibles con una frecuencia de un minuto.
Para obtener más información acerca de cuánto tiempo se conservan las métricas de CloudWatch, consulte GetMetricStatistics en la Referencia de la API de Amazon CloudWatch.
Métricas de carga de modelo de punto de conexión multimodelo
| Métrica | Descripción |
|---|---|
ModelLoadingWaitTime |
El intervalo de tiempo que una solicitud de invocación ha esperado a que se descargue o cargue el modelo de destino, o ambos, para realizar la inferencia. Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelUnloadingTime |
El intervalo de tiempo que tardó en descargar el modelo a través de la llamada a la API Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelDownloadingTime |
El intervalo de tiempo que se tardó en descargar el modelo de Amazon Simple Storage Service (Amazon S3). Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelLoadingTime |
El intervalo de tiempo que tardó en cargar el modelo a través de la llamada a la API Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelCacheHit |
El número de solicitudes La estadística Promedio muestra la proporción de solicitudes para las que el modelo ya se ha cargado. Unidades: ninguna Estadísticas válidas: Average, Sum, Sample Count. |
Dimensiones para métricas de carga de modelo de punto de conexión multimodelo
| Dimensión | Descripción |
|---|---|
EndpointName, VariantName |
Filtra las métricas de invocación de punto de conexión para una |
Los espacios de nombres /aws/sagemaker/Endpoints contienen las siguientes métricas de instancia de las llamadas a InvokeEndpoint.
Las métricas están disponibles con una frecuencia de un minuto.
Para obtener más información acerca de cuánto tiempo se conservan las métricas de CloudWatch, consulte GetMetricStatistics en la Referencia de la API de Amazon CloudWatch.
Métricas de instancia de modelo de punto de conexión multimodelo
| Métrica | Descripción |
|---|---|
LoadedModelCount |
El número de modelos cargados en los contenedores del punto de conexión multimodelo. Esta métrica se emite por instancia. La estadística Promedio con un período de 1 minuto indica el número medio de modelos cargados por instancia. La estadística Suma indica el número total de modelos cargados en todas las instancias del punto de conexión. Los modelos de los que realiza el seguimiento de esta métrica no son necesariamente únicos porque un modelo puede cargarse en varios contenedores en el punto de conexión. Unidades: ninguna Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
CPUUtilization |
La suma de la utilización de cada núcleo individual de la CPU. La utilización de la CPU de cada núcleo oscila entre 0 y 100. Por ejemplo, si hay cuatro CPU, la Para las variantes de punto de conexión, el valor es la suma de la utilización de la CPU de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
MemoryUtilization |
El porcentaje de memoria que utilizan los contenedores en una instancia. Este valor oscila del 0 % al 100 %. Para las variantes de punto de conexión, el valor es la suma de la utilización de la memoria de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
DiskUtilization |
El porcentaje de espacio en disco usado por los contenedores en una instancia. Este valor oscila del 0 % al 100 %. Para las variantes de punto de conexión, el valor es la suma de la utilización del espacio en disco de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
Métricas de CloudWatch para implementaciones de puntos de conexión multimodelo de GPU
Puede supervisar las siguientes métricas en puntos de conexión multimodelo respaldados por GPU.
El espacio de nombres AWS/SageMaker contiene las siguientes métricas de carga del modelo de las llamadas a InvokeEndpoint.
Las métricas están disponibles con una frecuencia de un minuto.
Para obtener más información acerca de cuánto tiempo se conservan las métricas de CloudWatch, consulte GetMetricStatistics en la Referencia de la API de Amazon CloudWatch.
Métricas de carga de modelo de punto de conexión multimodelo
| Métrica | Descripción |
|---|---|
ModelLoadingWaitTime |
El intervalo de tiempo que una solicitud de invocación ha esperado a que se descargue o cargue el modelo de destino, o ambos, para realizar la inferencia. Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelUnloadingTime |
El intervalo de tiempo que tardó en descargar el modelo a través de la llamada a la API Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelDownloadingTime |
El intervalo de tiempo que se tardó en descargar el modelo de Amazon Simple Storage Service (Amazon S3). Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelLoadingTime |
El intervalo de tiempo que tardó en cargar el modelo a través de la llamada a la API Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
ModelCacheHit |
El número de solicitudes La estadística Promedio muestra la proporción de solicitudes para las que el modelo ya se ha cargado. Unidades: ninguna Estadísticas válidas: Average, Sum, Sample Count. |
Dimensiones para métricas de carga de modelo de punto de conexión multimodelo
| Dimensión | Descripción |
|---|---|
EndpointName, VariantName |
Filtra las métricas de invocación de punto de conexión para una |
Los espacios de nombres /aws/sagemaker/Endpoints contienen las siguientes métricas de instancia de las llamadas a InvokeEndpoint.
Las métricas están disponibles con una frecuencia de un minuto.
Para obtener más información acerca de cuánto tiempo se conservan las métricas de CloudWatch, consulte GetMetricStatistics en la Referencia de la API de Amazon CloudWatch.
Métricas de instancia de modelo de punto de conexión multimodelo
| Métrica | Descripción |
|---|---|
LoadedModelCount |
El número de modelos cargados en los contenedores del punto de conexión multimodelo. Esta métrica se emite por instancia. La estadística Promedio con un período de 1 minuto indica el número medio de modelos cargados por instancia. La estadística Suma indica el número total de modelos cargados en todas las instancias del punto de conexión. Los modelos de los que realiza el seguimiento de esta métrica no son necesariamente únicos porque un modelo puede cargarse en varios contenedores en el punto de conexión. Unidades: ninguna Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
CPUUtilization |
La suma de la utilización de cada núcleo individual de la CPU. La utilización de la CPU de cada núcleo oscila entre 0 y 100. Por ejemplo, si hay cuatro CPU, la Para las variantes de punto de conexión, el valor es la suma de la utilización de la CPU de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
MemoryUtilization |
El porcentaje de memoria que utilizan los contenedores en una instancia. Este valor oscila del 0 % al 100 %. Para las variantes de punto de conexión, el valor es la suma de la utilización de la memoria de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
GPUUtilization |
El porcentaje de unidades de GPU usadas por los contenedores en una instancia. El valor puede oscilar entre 0 y 100, y se multiplica por el número de GPU. Por ejemplo, si hay cuatro GPU, la Para las variantes de punto de conexión, el valor es la suma de la utilización de la GPU de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
GPUMemoryUtilization |
El porcentaje de memoria de GPU que utilizan los contenedores en una instancia. El valor oscila entre 0 y 100, y se multiplica por el número de GPU. Por ejemplo, si hay cuatro GPU, la Para las variantes de punto de conexión, el valor es la suma de la utilización de la memoria de la GPU de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
DiskUtilization |
El porcentaje de espacio en disco usado por los contenedores en una instancia. Este valor oscila del 0 % al 100 %. Para las variantes de punto de conexión, el valor es la suma de la utilización del espacio en disco de los contenedores principales y suplementarios en la instancia. Unidades: porcentaje |
