Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ver el estado del punto de conexión
Si desea utilizar su modelo entrenado para realizar inferencias sobre datos en tiempo real, implemente su modelo en un punto de conexión en tiempo real. Para garantizar la latencia adecuada de sus predicciones, debe asegurarse de que las instancias que alojan su modelo se ejecuten de manera eficiente. La característica de supervisión de puntos de conexión del panel de modelos muestra información en tiempo real sobre la configuración de los puntos de conexión y le ayuda a realizar un seguimiento del rendimiento de los puntos de conexión mediante métricas.
Configuración del monitor
El panel de control del modelo enlaza con las páginas de detalles de los puntos finales de SageMaker IA existentes, que muestran gráficos en tiempo real de las métricas que puedes seleccionar en Amazon CloudWatch. En su panel, puede realizar un seguimiento de estas métricas mientras su punto de conexión administra las solicitudes de inferencia en tiempo real. A continuación se indican algunas de las métricas que puede seleccionar:
-
CpuUtilization: la suma de la utilización de cada núcleo de CPU individual, con un intervalo entre el 0 % y el 100 %. -
MemoryUtilization: el porcentaje de memoria de GPU que utilizan los contenedores en una instancia, con un intervalo entre el 0 % y el 100 %. -
DiskUtilization: el porcentaje de espacio del disco que utilizan los contenedores en una instancia, con un intervalo entre el 0 % y el 100 %.
Para ver la lista completa de métricas que puede ver en tiempo real, consulte Métricas para monitorear Amazon SageMaker AI con Amazon CloudWatch.
Configuración del tiempo de ejecución
Amazon SageMaker AI admite el escalado automático (autoescalado) para sus modelos alojados. El escalado automático ajusta dinámicamente el número de instancias aprovisionadas para un modelo en respuesta a los cambios en su carga de trabajo. Cuando la carga de trabajo aumenta, el escalado automático proporciona más instancias en línea. Cuando la carga de trabajo desciende, el escalado automático quita las instancias innecesarias, a fin de que no pague por las instancias aprovisionadas que no utiliza. Puede personalizar los siguientes ajustes de tiempo de ejecución en el panel de modelos:
-
Actualizar ponderaciones: cambie la cantidad de carga de trabajo asignada a cada instancia con una ponderación numérica. Para obtener más información sobre la ponderación de instancias durante el escalado automático, consulte Configurar la ponderación de instancias para Amazon EC2 Auto Scaling.
-
Actualizar recuento de instancias: cambie el número total de instancias que pueden atender su carga de trabajo a medida que aumente.
Para obtener más información sobre la configuración del tiempo de ejecución de los puntos finales, consulte. CreateEndpointConfig
Ajustes de configuración del punto de conexión
Los ajustes de configuración del punto de conexión muestran los ajustes que especificó al crear el punto de conexión. Esta configuración indica a la SageMaker IA qué recursos debe aprovisionar para su punto final. Algunos ajustes incluidos son los siguientes:
-
Captura de datos: puede optar por capturar información sobre las entradas y salidas de su punto de conexión. Por ejemplo, es posible que desee muestrear el tráfico entrante para ver si los resultados se correlacionan con los datos de entrenamiento. Puede personalizar la frecuencia de muestreo, el formato de los datos almacenados y la ubicación de los datos almacenados en Amazon S3. Para obtener más información acerca de la configuración de captura de datos, consulte Captura de datos.
-
Variantes de producción: consulte el análisis anterior en Configuración del tiempo de ejecución.
-
Configuración de invocación asíncrona: si su punto de conexión es asíncrono, en esta sección se incluye el número máximo de solicitudes simultáneas enviadas por el cliente de SageMaker IA al contenedor modelo, la ubicación en Amazon S3 de sus notificaciones de éxito y error y la ubicación de salida de las salidas de su punto final. Para obtener más información acerca de las salidas asincrónicas, consulte Operaciones de punto de conexión asíncronas.
-
Clave de cifrado: puede introducir su clave de cifrado si quiere cifrar los resultados.
Para obtener más información sobre los ajustes de configuración de los puntos finales, consulte. CreateEndpointConfig
Vea el estado y la configuración de un punto de conexión
Para ver el estado y la configuración del punto de conexión de un modelo, complete los pasos siguientes:
-
Abra la consola de SageMaker IA
. -
Elija Gobernanza en el panel izquierdo.
-
Elija Panel de modelos.
-
En la sección Modelos del panel de modelos, seleccione el nombre del modelo del punto de conexión que desee ver.
-
Seleccione el nombre del punto de conexión en la sección Puntos de conexión.
