Modellbereitstellung in SageMaker

Sobald Sie ein Modell trainiert und für die Produktion freigegeben haben, können Sie es SageMaker zur Bereitstellung Ihres Modells auf einem Endpunkt verwenden, um daraus in Echtzeit Rückschlüsse ziehen zu können. SageMaker bietet mehrere Inferenzoptionen, sodass Sie die Option auswählen können, die am besten zu Ihrer Arbeitslast passt. Sie konfigurieren Ihren Endpunkt auch, indem Sie den Instance-Typ und die Anzahl der Instances auswählen, die Sie für eine optimale Leistung benötigen. Details zu den Modellbereitstellungen finden Sie unter Modelle für Inference einsetzen.

Nachdem Sie Ihre Modelle in der Produktion eingesetzt haben, sollten Sie nach Möglichkeiten suchen, die Modellleistung weiter zu optimieren und gleichzeitig die Verfügbarkeit Ihrer aktuellen Modelle aufrechtzuerhalten. Sie können beispielsweise einen Shadow-Test einrichten, um ein anderes Modell oder eine andere Modell-Server-Infrastruktur auszuprobieren, bevor Sie sich für die Änderung entscheiden. SageMaker stellt das neue Modell, den Container oder die neue Instanz im Schattenmodus bereit und leitet eine Kopie der Inferenzanfragen in Echtzeit innerhalb desselben Endpunkts an diese weiter. Sie können die Antworten der Shadow-Variante zum Vergleich protokollieren. Einzelheiten zu Shadow-Tests finden Sie unter Schattentests. Wenn Sie sich entscheiden, Ihr Modell zu ändern, helfen Ihnen Deployment Guardrails dabei, die Umstellung vom aktuellen Modell auf ein neues zu kontrollieren. Sie können Methoden wie Blau/Grün- oder Kanarientests für den Traffic Shifting-Prozess wählen, um während des Updates eine detaillierte Kontrolle zu behalten. Weitere Informationen zu Leitlinien zur Bereitstellung finden Sie unter Einsatzleitplanken für die Aktualisierung von Modellen in der Produktion.