Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
So konfigurieren Sie Auto Scaling für ein Modell (Konsole)
Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/
. -
Wählen Sie im Navigationsbereich Inference und dann Endpoints aus.
-
Wählen Sie Ihren Endpunkt und dann für Endpoint Runtime Settings die Variante aus.
-
Wählen Sie Configure auto scaling (Auto Scaling konfigurieren) aus.
-
Gehen Sie auf der Seite Automatische Variantenskalierung konfigurieren für Automatische Variantenskalierung wie folgt vor:
-
Geben Sie für Minimale Instanzanzahl die Mindestanzahl von Instances ein, die die Skalierungsrichtlinie beibehalten soll. Es ist mindestens eine Instance erforderlich.
-
Geben Sie für Maximale Anzahl von Instanzen die maximale Anzahl von Instances ein, die die Skalierungsrichtlinie beibehalten soll.
-
-
Gehen Sie für die integrierte Skalierungsrichtlinie wie folgt vor:
-
Wird für die Ziel-Metrik automatisch für die Metrik ausgewählt und kann nicht geändert werden.
SageMakerVariantInvocationsPerInstance -
Geben Sie für den Zielwert die durchschnittliche Anzahl von Aufrufen pro Instanz und Minute für das Modell ein. Um diesen Wert festzulegen, befolgen Sie die Richtlinien auf Lasttest.
-
(Optional) Geben Sie für Scale-in-Cooldown (Sekunden) und Scale-Out-Cooldown (Sekunden) die Zeitdauer in Sekunden für jede Abkühlphase ein.
-
(Optional) Wählen Sie Skalierung deaktivieren aus, wenn Sie nicht möchten, dass Auto Scaling Instances beendet, wenn der Traffic abnimmt.
-
-
Wählen Sie Save (Speichern) aus.
Dieses Verfahren registriert ein Modell als skalierbares Ziel mit Application Auto Scaling. Wenn Sie ein Modell registrieren, nimmt Application Auto Scaling Überprüfungen vor, um sicherzustellen, dass:
-
Das Modell existiert
-
die Berechtigungen ausreichen
-
Sie keine Variante mit einer Instance registrieren, die eine Burstable Performance Instance wie T2 ist
Anmerkung
SageMaker KI unterstützt Auto Scaling für Burstable-Instances wie T2 nicht, da sie bereits eine höhere Kapazität bei erhöhten Workloads ermöglichen. Informationen zu Burstable-Performance-Instances finden Sie unter EC2 Amazon-Instance-Typen
.
