Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Holen Sie sich eine Inferenzempfehlung für einen vorhandenen Endpunkt

Jobs mit Inferenzempfehlungen führen eine Reihe von Lasttests für empfohlene Instance-Typen und einen vorhandenen Endpunkt durch. Inferenzempfehlungsjobs verwenden Leistungsmetriken, die auf Lasttests mit den Beispieldaten basieren, die Sie bei der Registrierung der Modellversion angegeben haben.

Sie können Benchmarks für einen vorhandenen Inferenzendpunkt durchführen und SageMaker Inferenzempfehlungen abrufen, um die Leistung Ihres Endpunkts zu verbessern. Das Verfahren zum Abrufen von Empfehlungen für einen vorhandenen SageMaker Inferenzendpunkt ähnelt dem Verfahren zum Abrufen von Inferenzempfehlungen ohne Endpunkt. Beim Benchmarking eines vorhandenen Endpunkts sind mehrere Funktionsausschlüsse zu beachten:

In den folgenden Abschnitten wird gezeigt, wie Sie Amazon SageMaker Inference Recommender verwenden, um mithilfe von for Python (Boto3) und dem eine Inferenzempfehlung für einen vorhandenen Endpunkt zu erstellen, die AWS SDK auf Ihrem Modelltyp basiert. AWS CLI

Voraussetzungen

Wenn Sie noch keinen Inferenzendpunkt haben, können Sie entweder eine SageMaker Inferenzempfehlung ohne Endpunkt erhalten oder Sie können einen Echtzeit-Inferenzendpunkt erstellen, indem Sie den Anweisungen unter Erstellen Sie Ihren Endpunkt und Bereitstellen Ihres Modells folgen.

Erstellen Sie einen Job mit Inferenzempfehlungen für einen vorhandenen Endpunkt

Erstellen Sie programmgesteuert eine Inferenzempfehlung mithilfe von, oder. AWS SDK for Python (Boto3) AWS CLI Geben Sie einen Jobnamen für Ihre Inferenzempfehlung, den Namen eines vorhandenen SageMaker Inferenzendpunkts, eine AWS IAM Rolle, eine Eingabekonfiguration und Ihr Modellpaket anARN, das Sie bei der ARN Registrierung Ihres Modells bei der Modellregistrierung erhalten haben.

AWS SDK for Python (Boto3)

Verwenden Sie den CreateInferenceRecommendationsJobAPI, um eine Inferenzempfehlung zu erhalten. Stellen Sie das JobType Feld auf 'Default' ehlungen ein. Darüber hinaus sind folgende Angaben zu machen:

• Geben Sie einen Namen für Ihren Inference Recommender-Empfehlungsjob für das JobName Feld ein. Der Jobname von Inference Recommender muss innerhalb der AWS Region und in Ihrem Konto eindeutig sein. AWS

• Der Amazon-Ressourcenname (ARN) einer IAM Rolle, die es Inference Recommender ermöglicht, Aufgaben in Ihrem Namen auszuführen. Definieren Sie dies für das RoleArn Feld.

• Der ARN des versionierten Modellpakets, das Sie bei der Registrierung Ihres Modells in der Modellregistrierung erstellt haben. Definieren Sie dies für ModelPackageVersionArn in dem InputConfig Feld.

• Geben Sie in das Feld den Namen eines vorhandenen SageMaker Inferenzendpunkts ein, für Endpoints den Sie in Inference Recommender einen Benchmark durchführen möchten. InputConfig

Importieren Sie das AWS SDK for Python (Boto3) Paket und erstellen Sie ein SageMaker Client-Objekt mithilfe der Client-Klasse. Wenn Sie die Schritte im Abschnitt Voraussetzungen befolgt haben, ARN wurde die Modellpaketgruppe in einer Variablen mit dem Namen gespeichertmodel_package_arn.

# Create a low-level SageMaker service client.
import boto3
aws_region = '<region>'
sagemaker_client = boto3.client('sagemaker', region_name=aws_region) 

# Provide your model package ARN that was created when you registered your 
# model with Model Registry 
model_package_arn = '<model-package-arn>'

# Provide a unique job name for SageMaker Inference Recommender job
job_name = '<job-name>'

# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'

# Provide an IAM Role that gives SageMaker Inference Recommender permission to 
# access AWS services
role_arn = '<arn:aws:iam::<account>:role/*>'
                                    
# Provide endpoint name for your endpoint that want to benchmark in Inference Recommender
endpoint_name = '<existing-endpoint-name>'

sagemaker_client.create_inference_recommendations_job(
    JobName = job_name,
    JobType = job_type,
    RoleArn = role_arn,
    InputConfig = {
        'ModelPackageVersionArn': model_package_arn,
        'Endpoints': [{'EndpointName': endpoint_name}]
    }
)

Eine vollständige Liste der optionalen und erforderlichen Argumente, an die Sie übergeben können, finden Sie im SageMaker APIAmazon-Referenzhandbuch CreateInferenceRecommendationsJob.

AWS CLI

Verwenden Sie die create-inference-recommendations-jobAPI, um eine Empfehlung für einen Instance-Endpunkt zu erhalten. Setzen Sie das Feld job-type für Instance-Endpunkt-Empfehlungsaufträge auf 'Default'. Darüber hinaus sind folgende Angaben zu machen:

• Geben Sie einen Namen für Ihren Inference Recommender-Empfehlungsjob für das job-name Feld ein. Der Inference Recommender-Jobname muss innerhalb der AWS Region und innerhalb Ihres AWS Kontos eindeutig sein.

• Der Amazon-Ressourcenname (ARN) einer IAM Rolle, die es Amazon SageMaker Inference Recommender ermöglicht, Aufgaben in Ihrem Namen auszuführen. Definieren Sie dies für das role-arn Feld.

• Der ARN des versionierten Modellpakets, das Sie bei der Registrierung Ihres Modells bei Model Registry erstellt haben. Definieren Sie dies für ModelPackageVersionArn in dem input-config Feld.

• Geben Sie in das Feld den Namen eines vorhandenen SageMaker Inferenzendpunkts ein, für Endpoints den Sie in Inference Recommender einen Benchmark durchführen möchten. input-config

aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelPackageVersionArn\": \"arn:aws:sagemaker:<region:account:role/*>\",
        \"Endpoints\": [{\"EndpointName\": <endpoint_name>}]
        }"

Holen Sie sich die Job-Ergebnisse Ihrer Inferenzempfehlung

Sie können die Ergebnisse Ihres Jobs mit Inferenzempfehlungen programmgesteuert sammeln. Gehen Sie dabei genauso vor wie bei Standardjobs mit Inferenzempfehlungen. Weitere Informationen finden Sie unter Rufen Sie die Ergebnisse Ihrer Inferenzempfehlung ab..

Wenn Sie Ergebnisse von Inferenzempfehlungsaufträgen für einen vorhandenen Endpunkt erhalten, sollten Sie eine JSON Antwort erhalten, die der folgenden ähnelt:

{
    "JobName": "job-name",
    "JobType": "Default",
    "JobArn": "arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id",
    "RoleArn": "iam-role-arn",
    "Status": "COMPLETED",
    "CreationTime": 1664922919.2,
    "LastModifiedTime": 1664924208.291,
    "InputConfig": {
        "ModelPackageVersionArn": "arn:aws:sagemaker:region:account-id:model-package/resource-id",
        "Endpoints": [
            {
                "EndpointName": "endpoint-name"
            }
        ]
    },
    "InferenceRecommendations": [
        {
            "Metrics": {
                "CostPerHour": 0.7360000014305115,
                "CostPerInference": 7.456940238625975e-06,
                "MaxInvocations": 1645,
                "ModelLatency": 171
            },
            "EndpointConfiguration": {
                "EndpointName": "sm-endpoint-name",
                "VariantName": "variant-name",
                "InstanceType": "ml.g4dn.xlarge",
                "InitialInstanceCount": 1
            },
            "ModelConfiguration": {
                "EnvironmentParameters": [
                    {
                        "Key": "TS_DEFAULT_WORKERS_PER_MODEL",
                        "ValueType": "string",
                        "Value": "4"
                    }
                ]
            }
        }
    ],
    "EndpointPerformances": [
        {
            "Metrics": {
                "MaxInvocations": 184,
                "ModelLatency": 1312
            },
            "EndpointConfiguration": {
                "EndpointName": "endpoint-name"
            }
        }
    ]
}

Die ersten Zeilen enthalten Informationen über den Job mit Inferenzempfehlungen selbst. Dazu gehören der Jobname, die Rolle ARN sowie die Uhrzeit der Erstellung und der letzten Änderung.

Das InferenceRecommendations Wörterbuch enthält eine Liste von Inference Recommender-Inferenzempfehlungen.

Das EndpointConfiguration verschachtelte Wörterbuch enthält die Empfehlung für den Instanztyp (InstanceType) sowie den Endpunkt- und Variantennamen (ein bereitgestelltes Modell für AWS maschinelles Lernen), die während des Empfehlungsjobs verwendet wurden.

Das Metrics verschachtelte Wörterbuch enthält Informationen zu den geschätzten Kosten pro Stunde (CostPerHour) für Ihren Echtzeit-Endpunkt in US-Dollar, zu den geschätzten Kosten pro Inferenz (CostPerInference) in US-Dollar für Ihren Echtzeit-Endpunkt, zur erwarteten maximalen Anzahl von InvokeEndpoint Anfragen pro Minute, die an den Endpunkt gesendet werden (MaxInvocations), und zur Modelllatenz (ModelLatency), d. h. das Zeitintervall (in Millisekunden), auf das Ihr Modell reagiert hat SageMaker. Die Modelllatenz umfasst die lokalen Kommunikationszeiten für das Senden der Anfrage und das Abrufen der Antwort aus dem Container eines Modells sowie die Zeit, die für den Abschluss der Inferenz im Container benötigt wird.

Das EndpointPerformances verschachtelte Wörterbuch enthält den Namen Ihres vorhandenen Endpunkts, auf dem der Empfehlungsjob ausgeführt wurde (EndpointName), und die Leistungskennzahlen für Ihren Endpunkt (MaxInvocationsundModelLatency).