Bewährte Methoden für die Bereitstellung von Modellen auf SageMaker Hosting-Services - Amazon SageMaker
Bereitstellen mehrerer Instances

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewährte Methoden für die Bereitstellung von Modellen auf SageMaker Hosting-Services

Beachten Sie beim Hosten von Modellen, die SageMaker Hostingdienste verwenden, Folgendes:

  • In der Regel sendet eine Client-Anwendung Anfragen an den SageMaker HTTPS Endpunkt, um Rückschlüsse aus einem bereitgestellten Modell zu ziehen. Während der Testphase können Sie auch Anforderungen von Ihrem Jupyter Notebook an diesen Endpunkt senden.

  • Sie können ein Modell, mit dem Sie trainiert wurden SageMaker , für Ihr eigenes Bereitstellungsziel einsetzen. Dazu müssen Sie das für den Algorithmus spezifische Format der Modellartefakte kennen, die im Rahmen der Modelltraining generiert wurden. Weitere Informationen zu Ausgabeformaten finden Sie im entsprechenden Abschnitt zum verwendeten Algorithmus unter Gängige Datenformate für Trainings.

  • Sie können mehrere Varianten eines Modells auf demselben SageMaker HTTPS Endpunkt bereitstellen. Das ist sinnvoll, um Variationen eines Modells in der Produktion zu testen. Nehmen Sie zum Beispiel an, dass Sie ein Modell für die Produktion bereitgestellt haben. Sie möchten eine Variante des Modells testen, indem eine geringe Menge an Datenverkehr, d. h. 5 %, an das neue Modell umgeleitet wird. Erstellen Sie dazu eine Endpunktkonfiguration, in der beide Modellvarianten beschrieben werden. Geben Sie die ProductionVariant in Ihrer Anforderung an CreateEndPointConfig an. Weitere Informationen finden Sie unter ProductionVariant.

  • Sie können ein ProductionVariant so konfigurieren, dass Application Auto Scaling verwendet wird. Weitere Informationen zum Konfigurieren von Auto Scaling finden Sie unter Automatisches Skalieren Amazon SageMaker Amazon-Modellen.

  • Sie können einen Endpunkt ändern, ohne dafür bereits in der Produktionsumgebung bereitgestellte Modelle zu deaktivieren. z. B. können Sie neue Modellvarianten hinzufügen, die ML-Compute-Instance-Konfigurationen von vorhandenen Modellvarianten aktualisieren oder die Verteilung des Datenverkehrs für die Modellvarianten ändern. Um einen Endpunkt zu ändern, geben Sie eine neue Endpunktkonfiguration an. SageMaker implementiert die Änderungen ohne Ausfallzeiten. Weitere Informationen finden Sie unter UpdateEndpointund UpdateEndpointWeightsAndCapacities.

  • Falls Sie nach der Modellbereitstellung die Modellartefakte ändern oder entfernen oder Inferencecode modifizieren, führt das zu unvorhersehbaren Ergebnissen. Ist dies unumgänglich, ändern Sie den Endpunkt durch die Bereitstellung einer neuen Endpunktkonfiguration. Wenn Sie die neue Endpunktkonfiguration bereitgestellt haben, können Sie die Modellartefakte der alten Endpunktkonfiguration entsprechend ändern oder löschen.

  • Wenn Sie Inferences auf ganze Datensätze abrufen möchten, sollten Sie die Stapeltransformation als Alternative zu Hosting-Services in Erwägung ziehen. Weitere Informationen finden Sie unter Verwenden Sie die Batch-Transformation, um Inferenzen mit Amazon auszuführen SageMaker

Mehrere Instances über Availability Zones hinweg bereitstellen

Erstellen Sie robuste Endpunkte, wenn Sie Ihr Modell hosten. SageMakerEndgeräte können dazu beitragen, Ihre Anwendung vor Ausfällen in der Availability Zone und vor Instanzausfällen zu schützen. Wenn ein Ausfall auftritt oder eine Instance ausfällt, versucht es SageMaker automatisch, Ihre Instances auf die Availability Zones zu verteilen. Aus diesem Grund empfehlen wir dringend, dass Sie mehrere Instances für jeden Produktionsendpunkt bereitstellen.

Wenn Sie eine Amazon Virtual Private Cloud (VPC) verwenden, konfigurieren Sie die VPC mit mindestens zwei Subnets, jeweils in einer anderen Availability Zone. Wenn ein Ausfall auftritt oder eine Instance ausfällt, versucht Amazon SageMaker automatisch, Ihre Instances auf Availability Zones zu verteilen.

Um eine zuverlässigere Leistung zu erreichen, sollten Sie im Allgemeinen mehrere kleine Instance-Typen in verschiedenen Availability Zones zum Hosten Ihrer Endpunkte verwenden.

Stellen Sie Inferenzkomponenten für hohe Verfügbarkeit bereit. Um zusätzlich zu den oben genannten Empfehlungen für Instanznummern eine Verfügbarkeit von 99,95% zu erreichen, sollten Sie sicherstellen, dass Ihre Inferenzkomponenten so konfiguriert sind, dass sie über mehr als zwei Kopien verfügen. Legen Sie außerdem in Ihrer Richtlinie für verwaltetes Auto Scaling die Mindestanzahl von Instances auf zwei fest.