Beheben Sie Neo-Inferenz-Fehler - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beheben Sie Neo-Inferenz-Fehler

Dieser Abschnitt enthält Informationen darüber, wie Sie einige der häufigsten Fehler verhindern und beheben können, die beim Bereitstellen und/oder Aufrufen des Endpunkts auftreten können. Dieser Abschnitt gilt für PyTorch 1.4.0 oder höher und MXNet v1.7.0 oder höher.

  • Stellen Sie sicher, dass die erste Inferenz (Aufwärminferenz) auf gültige Eingabedaten in model_fn() erfolgt ist, falls Sie ein model_fn in Ihrem Inferenzskript definiert haben. Andernfalls wird beim Aufruf von predict API möglicherweise die folgende Fehlermeldung auf dem Terminal angezeigt: 

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0) from <users-sagemaker-endpoint> with message "Your invocation timed out while waiting for a response from container model. Review the latency metrics for each container in Amazon CloudWatch, resolve the issue, and try again."

  • Stellen Sie sicher, dass die Umgebungsvariablen in der folgenden Tabelle gesetzt sind. Wenn sie nicht gesetzt sind, wird möglicherweise die folgende Fehlermeldung angezeigt:

    Auf dem Terminal:

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (503) from <users-sagemaker-endpoint> with message "{ "code": 503, "type": "InternalServerException", "message": "Prediction failed" } ".

    CloudWatchIn:

    W-9001-model-stdout com.amazonaws.ml.mms.wlm.WorkerLifeCycle - AttributeError: 'NoneType' object has no attribute 'transform'
    Schlüssel Wert
    SAGEMAKER_PROGRAM inference.py
    SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/modell/code
    SAGEMAKER_CONTAINER_LOG_LEVEL 20
    SAGEMAKER_REGION <your region>

  • Stellen Sie sicher, dass die MMS_DEFAULT_RESPONSE_TIMEOUT Umgebungsvariable bei der Erstellung des SageMaker Amazon-Modells auf 500 oder einen höheren Wert gesetzt ist. Andernfalls wird möglicherweise die folgende Fehlermeldung auf dem Terminal angezeigt: 

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0) from <users-sagemaker-endpoint> with message "Your invocation timed out while waiting for a response from container model. Review the latency metrics for each container in Amazon CloudWatch, resolve the issue, and try again."