Bereitstellen eines Modells - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen eines Modells

Um ein von Amazon SageMaker Neo kompiliertes Modell auf einem HTTPS-Endpunkt bereitzustellen, müssen Sie den Endpunkt für das Modell mithilfe der Amazon SageMaker AI-Hosting-Services konfigurieren und erstellen. Derzeit können Entwickler Amazon verwenden, SageMaker APIs um Module auf ml.c5-, ml.c4-, ml.m5-, ml.m4-, ml.p3-, ml.p2- und ml.inf1-Instances bereitzustellen.

Für Inferentia- und Trainium-Instances müssen die Modelle speziell für diese Instances kompiliert werden. Modelle, die für andere Instance-Typen kompiliert wurden, funktionieren nicht garantiert mit Inferentia- oder Trainium-Instances.

Wenn Sie ein kompiliertes Modell bereitstellen, müssen Sie für das Ziel die gleiche Instance verwenden, die Sie auch für die Kompilierung verwendet haben. Dadurch SageMaker wird ein KI-Endpunkt erstellt, mit dem Sie Schlussfolgerungen ziehen können. Sie können ein NEO-kompiliertes Modell mit einer der folgenden Optionen bereitstellen: Amazon SageMaker AI SDK für Python, SDK for Python (Boto3) und die SageMaker AI-Konsole. AWS Command Line Interface

Anmerkung

Informationen zur Bereitstellung eines Modells mithilfe AWS CLI der Konsole oder Boto3 finden Sie unter Neo Inference Container Images, um den Inferenz-Image-URI für Ihren primären Container auszuwählen.

Themen