Stellen Sie Autopilot-Modelle für Inferenzen in Echtzeit bereit - Amazon SageMaker
Echtzeit-Inferenz

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie Autopilot-Modelle für Inferenzen in Echtzeit bereit

Nachdem Sie Ihre Amazon SageMaker Autopilot-Modelle trainiert haben, können Sie einen Endpunkt einrichten und interaktiv Prognosen abrufen. Im folgenden Abschnitt werden die Schritte zur Bereitstellung Ihres Modells auf einem SageMaker Echtzeit-Inferenzendpunkt beschrieben, um Vorhersagen aus Ihrem Modell zu erhalten.

Echtzeit-Inferenz

Inferenz in Echtzeit ist ideal für Inferenz-Workloads, bei denen interaktive Echtzeitanforderungen mit geringer Latenz erfüllt werden müssen. In diesem Abschnitt wird gezeigt, wie Sie Echtzeit-Inferenzen verwenden können, um interaktiv Vorhersagen aus Ihrem Modell zu erhalten.

Sie können das Modell SageMaker APIs, das die beste Validierungsmetrik lieferte, in einem Autopilot-Experiment wie folgt manuell bereitstellen.

Alternativ können Sie bei der Erstellung Ihres Autopilot-Experiments die automatische Bereitstellungsoption wählen. Informationen zur Einrichtung der automatischen Bereitstellung von Modellen finden Sie in ModelDeployConfig in den Anforderungsparametern von CreateAutoMLJobV2. Dadurch wird automatisch ein Endpunkt erstellt.

Anmerkung

Um unnötige Kosten zu vermeiden, können Sie nicht benötigte Endpunkte und Ressourcen löschen, die bei der Modellbereitstellung erstellt wurden. Informationen zur Preisgestaltung von Instances nach Regionen finden Sie unter SageMaker Amazon-Preise.

  1. Besorgen Sie sich die Container-Kandidatendefinitionen

    Rufen Sie die Kandidaten-Containerdefinitionen von ab InferenceContainers. Eine Containerdefinition für Inferenz bezieht sich auf die containerisierte Umgebung, die für die Bereitstellung und Ausführung Ihres trainierten SageMaker Modells konzipiert ist, um Vorhersagen zu treffen.

    Das folgende AWS CLI Befehlsbeispiel verwendet die, DescribeAutoMLJobV2APIum Kandidatendefinitionen für den besten Modellkandidaten abzurufen.

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

  2. Kandidaten auflisten

    Das folgende AWS CLI Befehlsbeispiel verwendet die ListCandidatesForAutoMLJobAPI, um alle Modellkandidaten aufzulisten.

    aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

  3. Erstellen Sie ein SageMaker Modell

    Verwenden Sie die Containerdefinitionen aus den vorherigen Schritten und einen Kandidaten Ihrer Wahl, um mithilfe von ein SageMaker Modell zu erstellen CreateModelAPI. Sehen Sie sich den folgenden AWS CLI Befehl als Beispiel an.

    aws sagemaker create-model --model-name '<your-candidate-name>' \
                    --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                    --execution-role-arn '<execution-role-arn>' --region '<region>

  4. Endpunktkonfiguration erstellen

    Das folgende AWS CLI Befehlsbeispiel verwendet die CreateEndpointConfigAPI, um eine Endpunktkonfiguration zu erstellen.

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                    --production-variants '<list-of-production-variants>' \
                    --region '<region>'

  5. Endpunkt erstellen

    Im folgenden AWS CLI Beispiel wird der verwendet CreateEndpointAPI, um den Endpunkt zu erstellen.

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                    --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                    --region '<region>'

    Überprüfen Sie den Fortschritt Ihrer Endpunktbereitstellung mithilfe von DescribeEndpointAPI. Sehen Sie sich den folgenden AWS CLI Befehl als Beispiel an.

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    Nach den EndpointStatus Änderungen an InService ist der Endpunkt für Echtzeit-Inferences einsatzbereit.

  6. Rufen Sie den Endpunkt auf

    Die folgende Befehlsstruktur ruft den Endpunkt für Echtzeit-Inferenzen auf.

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                  --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>