Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Escalado automático de un punto de conexión asíncrono

Amazon SageMaker admite el escalado automático (escalado automático) de su punto de conexión asíncrono. El escalado automático ajusta dinámicamente el número de instancias aprovisionadas para un modelo en respuesta a los cambios en su carga de trabajo. A diferencia de otros modelos hospedados que Amazon SageMaker admite, con la inferencia asíncrona también puede reducir sus instancias de puntos de conexión asíncronos a cero. Las solicitudes que se reciben cuando no hay ninguna instancia se ponen en cola para su procesamiento cuando el punto de conexión escale verticalmente.

Para escalar automáticamente su punto de conexión asíncrono, debe hacer, como mínimo, lo siguiente:

Para poder utilizar el escalado automático, debe haber implementado previamente un modelo en un punto final. SageMaker Los modelos implementados se denominan variante de producción. Consulte Implementación del modelo en los servicios de SageMaker alojamiento para obtener más información sobre la implementación de un modelo en un punto final. Para especificar las métricas y los valores de destino para una política de escalado, debe configurar una política de escalado. Para obtener información sobre cómo definir una política de escalado, consulte Define a scaling policy. Una vez registrado su modelo y definido una política de escalado, aplique la política de escalado al modelo registrado. Para obtener información sobre cómo aplicar una política de escalado, consulte Apply a scaling policy.

Para obtener más información sobre cómo definir una política de escalado adicional opcional que amplíe su punto de conexión al recibir una solicitud después de que este se haya reducido verticalmente hasta cero, consulte Definir una política de escalado que escale verticalmente desde cero para las nuevas solicitudes (opcional). Si no especifica esta política opcional, el punto de conexión solo iniciará el escalado vertical desde cero cuando el número de solicitudes pendientes supere el valor de seguimiento objetivo.

Para obtener más información sobre otros requisitos previos y componentes que se utilizan con el escalado automático, consulte la sección Requisitos previos de la documentación del SageMaker escalado automático.

Definir una política de escalado

Para especificar las métricas y los valores de destino para una política de escalado, debe configurar una política de escalado de seguimiento de destino. Defina la política de escalado como un bloque JSON en un archivo de texto. Este archivo de texto se utiliza al invocar la API Application Auto Scaling AWS CLI o la API. Para obtener más información acerca de la sintaxis de configuración de la política, consulte TargetTrackingScalingPolicyConfiguration en la referencia de la API de Auto Scaling de aplicaciones.

En el caso de los puntos finales asíncronos, se recomienda SageMaker encarecidamente crear una configuración de políticas para el escalado de una variante basada en el seguimiento de los objetivos. En este ejemplo de configuración, utilizamos una métrica personalizada (CustomizedMetricSpecification) llamada ApproximateBacklogSizePerInstance.

TargetTrackingScalingPolicyConfiguration={
        'TargetValue': 5.0, # The target value for the metric. Here the metric is: ApproximateBacklogSizePerInstance
        'CustomizedMetricSpecification': {
            'MetricName': 'ApproximateBacklogSizePerInstance',
            'Namespace': 'AWS/SageMaker',
            'Dimensions': [
                {'Name': 'EndpointName', 'Value': <endpoint_name> }
            ],
            'Statistic': 'Average',
        }
    }            
        

Definir una política de escalado que escale a cero

A continuación, se muestra cómo definir y registrar una variante de punto de conexión con el escalado automático de la aplicación mediante AWS SDK for Python (Boto3). Tras definir un objeto cliente de bajo nivel que represente el escalado automático de la aplicación con Boto3, utilizamos el método RegisterScalableTarget para registrar la variante de producción. Hemos establecido MinCapacity en 0 porque la inferencia asíncrona permite escalar automáticamente a 0 cuando no hay solicitudes por procesar.

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Para obtener una descripción detallada de la API de escalado automático de aplicaciones, consulte la documentación Application Scaling Boto3.

Definir una política de escalado que escale verticalmente desde cero para las nuevas solicitudes (opcional)

Quizá haya algún caso de uso en el que tenga solicitudes esporádicas o períodos con un número reducido de solicitudes. Si el punto de conexión se ha reducido verticalmente a cero instancias durante estos períodos, no volverá a escalar hasta que el número de solicitudes en la cola supere el objetivo especificado en la política de escalado. Esto puede provocar largos tiempos de espera para las solicitudes en cola. En la siguiente sección, se muestra cómo crear una política de escalado adicional que aumente su punto de conexión desde cero instancias después de recibir cualquier nueva solicitud en la cola. El punto de conexión podrá responder a las nuevas solicitudes con mayor rapidez, en lugar de esperar a que el tamaño de la cola supere el objetivo.

Para crear una política de escalado para su punto de conexión que escale verticalmente desde cero instancias, haga lo siguiente:

Ahora debería tener una política de escalado y una CloudWatch alarma que amplíen su terminal desde cero instancias siempre que su cola tenga solicitudes pendientes.