Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Automatisches Skalieren eines asynchronen Endpunkts

Amazon SageMaker unterstützt die automatische Skalierung (Auto Scaling) Ihres asynchronen Endpunkts. Autoscaling passt die Anzahl der Instances, die für ein Modell als Reaktion auf Änderungen Ihres Workloads bereitgestellt wurden, dynamisch an. Im Gegensatz zu anderen von Amazon SageMaker unterstützten gehosteten Modellen können Sie mit Asynchronous Inference auch Ihre Instances für asynchrone Endpunkte auf Null herunterskalieren. Anfragen, die eingehen, wenn keine Instances vorhanden sind, werden zur Verarbeitung in die Warteschlange gestellt, sobald der Endpunkt hochskaliert wird.

Um Ihren asynchronen Endpunkt automatisch zu skalieren, müssen Sie mindestens:

Bevor Sie Auto Scaling verwenden können, müssen Sie bereits ein Modell auf einem SageMaker Endpunkt bereitgestellt haben. Bereitgestellte Modelle werden als Produktionsvariante bezeichnet. Weitere Informationen zum Bereitstellen eines Modells auf einem Endpunkt finden Sie unter Bereitstellen des Modells auf SageMaker Hosting-Services. Um die Metriken und Zielwerte für eine Skalierungsrichtlinie festzulegen, konfigurieren Sie eine Skalierungsrichtlinie. Informationen zur Definition einer Skalierungsrichtlinie finden Sie unter Definieren einer Skalierungsrichtlinie. Registrieren Sie Ihr Modell und legen Sie eine Skalierungsrichtlinie fest, um die Skalierungsrichtlinie auf das registrierte Modell anzuwenden. Informationen zur Anwendung der Skalierungsrichtlinie finden Sie unter Anwenden einer Skalierungsrichtlinie.

Weitere Informationen zur Definition einer optionalen zusätzlichen Skalierungsrichtlinie, die Ihren Endpunkt hochskaliert, sobald Sie eine Anfrage erhalten, nachdem Ihr Endpunkt auf Null herunterskaliert wurde, finden Sie unterOptional: Definieren Sie eine -Skalierungsrichtline, die für neue Anfragen von Null skaliert. Wenn Sie diese optionale Richtlinie nicht angeben, leitet Ihr Endpunkt die Skalierung von Null aus erst ein, wenn die Anzahl der Backlog-Anfragen den Zielwert für die Nachverfolgung überschreitet.

Einzelheiten zu anderen Voraussetzungen und Komponenten, die mit Auto Scaling verwendet werden, finden Sie im Abschnitt Voraussetzungen in der SageMaker Auto Scaling-Dokumentation.

Definieren einer Skalierungsrichtlinie

Um die Kennzahlen und Zielwerte für eine Skalierungsrichtlinie festzulegen, konfigurieren Sie eine Skalierungsrichtlinie für die Ziel-Nachverfolgung. Definieren Sie die -Skalierungsrichtline als JSON-Block in einer Textdatei. Sie verwenden diese Textdatei, wenn Sie die AWS CLI oder die Application Auto Scaling API aufrufen. Weitere Informationen zur Syntax der Richtlinienkonfiguration finden Sie unter TargetTrackingScalingPolicyConfiguration in der Application Auto Scaling API Reference.

Für asynchrone Endpunkte empfiehlt SageMaker dringend, eine Richtlinienkonfiguration für die Skalierung der Zielverfolgung für eine Variante zu erstellen. In diesem Konfigurationsbeispiel verwenden wir eine benutzerdefinierte Metrik, CustomizedMetricSpecification, genannt ApproximateBacklogSizePerInstance.

TargetTrackingScalingPolicyConfiguration={
        'TargetValue': 5.0, # The target value for the metric. Here the metric is: ApproximateBacklogSizePerInstance
        'CustomizedMetricSpecification': {
            'MetricName': 'ApproximateBacklogSizePerInstance',
            'Namespace': 'AWS/SageMaker',
            'Dimensions': [
                {'Name': 'EndpointName', 'Value': <endpoint_name> }
            ],
            'Statistic': 'Average',
        }
    }            
        

Definieren Sie eine Skalierungsrichtlinie, die auf Null skaliert

Im Folgenden wird gezeigt, wie Sie Ihre Endpunktvariante mit der automatischen Anwendungsskalierung unter Verwendung von AWS SDK for Python (Boto3) definieren und registrieren können. Nach der Definition eines Low-Level-Client-Objekts, das die automatische Skalierung der Anwendung mit Boto3 darstellt, verwenden wir die RegisterScalableTarget-Methode, um die Produktionsvariante zu registrieren. Wir setzen MinCapacity auf 0, weil Asynchrone Inferenz es Ihnen ermöglicht, automatisch auf 0 zu skalieren, wenn keine Anfragen zur Verarbeitung vorliegen.

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Eine ausführliche Beschreibung der Application Autoscaling API finden Sie in der Application Scaling Boto3-Dokumentation.

Optional: Definieren Sie eine -Skalierungsrichtline, die für neue Anfragen von Null skaliert

Möglicherweise haben Sie einen Anwendungsfall, in dem Sie sporadische Anfragen oder Zeiträume mit einer geringen Anzahl von Anfragen haben. Wenn Ihr Endpunkt in diesen Zeiträumen auf null Instanzen herunterskaliert wurde, wird Ihr Endpunkt erst wieder hochskaliert, wenn die Anzahl der Anfragen in der Warteschlange das in Ihrer Skalierungsrichtlinie angegebene Ziel überschreitet. Dies kann zu langen Wartezeiten für Anfragen in der Warteschlange führen. Im folgenden Abschnitt erfahren Sie, wie Sie eine zusätzliche Skalierungsrichtlinie erstellen, die Ihren Endpunkt nach Erhalt einer neuen Anfrage in der Warteschlange von Null auf Instances hochskaliert. Ihr Endpunkt wird in der Lage sein, schneller auf neue Anfragen zu antworten, anstatt darauf zu warten, dass die Warteschlangengröße das Ziel überschreitet.

Gehen Sie wie folgt vor, um eine Skalierungsrichtlinie für Ihren Endpunkt zu erstellen, die von null Instances aus hochskaliert werden kann:

Sie sollten jetzt über eine Skalierungsrichtlinie und einen CloudWatch Alarm verfügen, die Ihren Endpunkt von null Instances aus skalieren, wenn Ihre Warteschlange ausstehende Anfragen hat.