Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Alarmas y registros para realizar un seguimiento de las métricas de los puntos de conexión asíncronos
Puedes monitorizar la SageMaker IA con Amazon CloudWatch, que recopila datos sin procesar y los procesa para convertirlos en métricas legibles prácticamente en tiempo real. Con Amazon CloudWatch, puede acceder a la información histórica y obtener una mejor perspectiva del rendimiento de su aplicación o servicio web. Para obtener más información sobre Amazon CloudWatch, consulta ¿Qué es Amazon CloudWatch?
Monitorear con CloudWatch
Abajo, encontrará una lista completa de las métricas para puntos de conexión asíncronos, que se encuentran en el espacio de nombres AWS/SageMaker. Las métricas que no estén en esta lista no se publican si el punto de conexión está habilitado para la inferencia asincrónica. Estas son algunas de esas métricas:
OverheadLatency
Invocations
InvocationsPerInstance
Métricas de puntos de conexión comunes
Estas métricas son las mismas que las que se publican actualmente para los puntos de conexión en tiempo real. Para obtener más información sobre otras métricas de Amazon CloudWatch, consulta Supervisar la SageMaker IA con Amazon CloudWatch.
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
El número de solicitudes donde el modelo devolvió un código de respuesta HTTP 4xx. Para cada respuesta 4xx, se envía 1; de lo contrario, se envía 0. |
Unidades: ninguna Estadísticas válidas: Average, Sum |
|
El número de InvokeEndpoint solicitudes en las que el modelo devolvió un código de respuesta HTTP de 5 veces mayor. Para cada respuesta 5xx, se envía 1; de lo contrario, se envía 0. |
Unidades: ninguna Estadísticas válidas: Average, Sum |
|
El intervalo de tiempo que tarda un modelo en responder, visto desde la SageMaker IA. Este intervalo incluye el tiempo de comunicación local empleado en el envío de la solicitud y la recuperación de la respuesta del contenedor de un modelo, así como el tiempo que se tarda en completar la inferencia en el contenedor. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
Métricas de puntos de conexión de inferencia asíncrona
Estas métricas se publican para los puntos de conexión habilitados para la inferencia asíncrona. Las métricas siguientes se publican con una dimensión de EndpointName:
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
El número de elementos en la cola de un punto de conexión que se están procesando actualmente o que aún no se están procesando. |
Unidades: recuento Estadísticas válidas: Max, Min, Average. |
|
El número de elementos de la cola dividido por el número de instancias detrás de un punto de conexión. Esta métrica se usa principalmente para configurar el escalado automático de la aplicación para un punto de conexión con capacidad asíncrona. |
Unidades: recuento Estadísticas válidas: Max, Min, Average. |
|
Antigüedad de la solicitud más antigua de la cola. |
Unidades: segundos Estadísticas válidas: Max, Min, Average. |
|
El valor de esta métrica es |
Unidades: recuento Estadísticas válidas: Average. |
Las métricas siguientes se publican con las dimensiones de EndpointName y VariantName:
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
Cuando se produce un error de inferencia debido a un problema al descargar la solicitud de Amazon S3. |
Unidades: recuento Estadísticas válidas: Sum |
|
Cuando se produce un error de inferencia debido a un problema al cargar la respuesta a Amazon S3. |
Unidades: recuento Estadísticas válidas: Sum |
|
Cuando se produce un problema al publicar las notificaciones. |
Unidades: recuento Estadísticas válidas: Sum |
|
Tiempo total para descargar la carga de solicitud. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
Tiempo total para cargar la carga de la respuesta. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
Número de solicitudes en la cola que fallan debido a que han alcanzado el TTL de la solicitud especificada. |
Unidades: recuento Estadísticas válidas: Sum |
|
Si se produce un error en una invocación por cualquier motivo. |
Unidades: recuento Estadísticas válidas: Sum |
|
Número de invocaciones asíncronas procesadas por el punto de conexión. |
Unidades: recuento Estadísticas válidas: Sum |
|
Tiempo total durante el que la solicitud ha estado en cola antes de procesarse. Esto no incluye el tiempo de procesamiento real (es decir, el tiempo de descarga, el tiempo de carga o la latencia del modelo). |
Unidades: milisegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
El tiempo en que la SageMaker IA recibió la solicitud de inferencia y el momento en que terminó de procesarse. Esto incluye el tiempo para tareas pendientes y el tiempo necesario para cargar y enviar las notificaciones de respuesta que pueda haber. |
Unidades: milisegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
Amazon SageMaker Asynchronous Inference también incluye métricas a nivel de host. Para obtener información sobre las métricas a nivel de host, consulte AI Jobs y Endpoint Metrics. SageMaker
Registros
Además de los registros del contenedor Model que se publican CloudWatch en Amazon en tu cuenta, también obtienes un nuevo registro de plataforma para rastrear y depurar las solicitudes de inferencia.
Los nuevos registros se publican en el grupo de registro del punto de conexión:
/aws/sagemaker/Endpoints/[EndpointName]
El nombre del flujo de registro consta de lo siguiente:
[production-variant-name]/[instance-id]/data-log.
Las líneas de registro contienen el identificador de inferencia de la solicitud para que los errores se puedan asignar fácilmente a una solicitud concreta.
