Bereitstellung von Modellen in SageMaker KI

Sobald Sie ein Modell trainiert und für die Produktion freigegeben haben, verwenden Sie SageMaker KI, um Ihr Modell für Echtzeitinferenzen auf einem Endpunkt bereitzustellen. SageMaker KI bietet mehrere Inferenzoptionen, sodass Sie die Option auswählen können, die am besten zu Ihrer Arbeitslast passt. Sie konfigurieren Ihren Endpunkt auch, indem Sie den Instance-Typ und die Anzahl der Instances auswählen, die Sie für eine optimale Leistung benötigen. Details zu den Modellbereitstellungen finden Sie unter Modelle für Inference einsetzen.

Nachdem Sie Ihre Modelle in der Produktion eingesetzt haben, sollten Sie nach Möglichkeiten suchen, die Modellleistung weiter zu optimieren und gleichzeitig die Verfügbarkeit Ihrer aktuellen Modelle aufrechtzuerhalten. Sie können beispielsweise einen Schattentest einrichten, um ein anderes Modell oder eine andere modellgestützte Infrastruktur auszuprobieren, bevor Sie sich auf die Änderung festlegen. SageMaker AI stellt das neue Modell, den Container oder die neue Instanz im Shadow-Modus bereit und leitet eine Kopie der Inferenzanforderungen in Echtzeit innerhalb desselben Endpunkts an sie weiter. Sie können die Antworten der Shadow-Variante zum Vergleich protokollieren. Einzelheiten zu Shadow-Tests finden Sie unter Schattentests. Wenn Sie sich entscheiden, Ihr Modell zu ändern, helfen Ihnen Deployment Guardrails dabei, die Umstellung vom aktuellen Modell auf ein neues zu kontrollieren. Sie können solche Methoden auswählen, wie z. blue/green B. das Testen des Traffic-Verlagerungsprozesses, um während des Updates eine detaillierte Kontrolle zu behalten. Weitere Informationen zu Leitlinien zur Bereitstellung finden Sie unter Bereitstellungsleitlinien für die Aktualisierung von Modellen in der Produktion.