Creazione di una raccomandazione di inferenza

Crea una raccomandazione di inferenza a livello di codice utilizzando AWS SDK for Python (Boto3) o il AWS CLI o in modo interattivo utilizzando Studio Classic o la console AI. SageMaker Specificate un nome di lavoro per la raccomandazione di inferenza, un AWS IAM ruoloARN, una configurazione di input e un pacchetto di modelli ARN quando avete registrato il modello nel registro dei modelli, oppure il nome del modello e un ContainerConfig dizionario relativo al momento della creazione del modello nella sezione Prerequisiti.

AWS SDK for Python (Boto3)

Utilizzate il CreateInferenceRecommendationsJobAPIper avviare un processo di raccomandazione di inferenza. Imposta il campo JobType su 'Default' per i processi di raccomandazione di inferenza. È inoltre necessario indicare quanto segue:

L'Amazon Resource Name (ARN) di un IAM ruolo che consente a Inference Recommender di eseguire attività per tuo conto. Definiscilo per il campo RoleArn.
Un pacchetto ARN o un nome di modello. Inference Recommender supporta un pacchetto di modelli ARN o un nome di modello come input. Specifica una delle seguenti proprietà:
- Il pacchetto ARN di modelli con versione che hai creato quando hai registrato il tuo modello nel registro dei modelli SageMaker AI. Definiscilo per ModelPackageVersionArn nel campo InputConfig.
- il nome del modello che hai creato. Definiscilo per ModelName nel campo InputConfig. Inoltre, fornisci il dizionario ContainerConfig che include i campi obbligatori da fornire con il nome del modello. Definiscilo per ContainerConfig nel campo InputConfig. In ContainerConfig, se lo desideri, puoi anche specificare il campo SupportedEndpointType come RealTime o Serverless. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni solo per quel tipo di endpoint. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni per entrambi i tipi di endpoint.
un nome per il processo di raccomandazione del suggeritore di inferenza per il campo JobName. Il nome del lavoro di Inference Recommender deve essere univoco all'interno della AWS regione e all'interno del tuo account. AWS

Importa il AWS SDK for Python (Boto3) pacchetto e crea un oggetto client SageMaker AI utilizzando la classe client. Se hai rispettato le fasi nella sezione Prerequisiti, specifica solo uno degli elementi seguenti:

Opzione 1: se desideri creare un lavoro di raccomandazioni di inferenza con un pacchetto modelloARN, archivia il gruppo di pacchetti di modelli ARN in una variabile denominatamodel_package_arn.
Opzione 2: se desideri creare un progetto di raccomandazioni di inferenza con un nome di modello e ContainerConfig, memorizza il nome del modello in una variabile denominata model_name e il dizionario ContainerConfig in una variabile denominata container_config.


# Create a low-level SageMaker service client.
import boto3
aws_region = '<INSERT>'
sagemaker_client = boto3.client('sagemaker', region_name=aws_region) 

# Provide only one of model package ARN or model name, not both.
# Provide your model package ARN that was created when you registered your 
# model with Model Registry 
model_package_arn = '<INSERT>'
## Uncomment if you would like to create an inference recommendations job with a
## model name instead of a model package ARN, and comment out model_package_arn above
## Provide your model name
# model_name = '<INSERT>'
## Provide your container config 
# container_config = '<INSERT>'

# Provide a unique job name for SageMaker Inference Recommender job
job_name = '<INSERT>'

# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'

# Provide an IAM Role that gives SageMaker Inference Recommender permission to 
# access AWS services
role_arn = 'arn:aws:iam::<account>:role/*'

sagemaker_client.create_inference_recommendations_job(
    JobName = job_name,
    JobType = job_type,
    RoleArn = role_arn,
    # Provide only one of model package ARN or model name, not both. 
    # If you would like to create an inference recommendations job with a model name,
    # uncomment ModelName and ContainerConfig, and comment out ModelPackageVersionArn.
    InputConfig = {
        'ModelPackageVersionArn': model_package_arn
        # 'ModelName': model_name,
        # 'ContainerConfig': container_config
    }
)

Consulta l'Amazon SageMaker API Reference Guide per un elenco completo degli argomenti opzionali e obbligatori a cui puoi passare CreateInferenceRecommendationsJob.

AWS CLI

Usa il create-inference-recommendations-job API per iniziare un lavoro di raccomandazione inferenziale. Imposta il campo job-type su 'Default' per i processi di raccomandazione di inferenza. È inoltre necessario indicare quanto segue:

L'Amazon Resource Name (ARN) di un IAM ruolo che consente ad Amazon SageMaker Inference Recommender di eseguire attività per tuo conto. Definiscilo per il campo role-arn.
Un pacchetto ARN o un nome di modello. Inference Recommender supporta un pacchetto di modelli ARN o un nome di modello come input. Specifica uno degli elementi seguenti:
- Il pacchetto ARN di modelli con versione che hai creato quando hai registrato il modello con Model Registry. Definiscilo per ModelPackageVersionArn nel campo input-config.
- il nome del modello che hai creato. Definiscilo per ModelName nel campo input-config. Inoltre, fornisci il dizionario di ContainerConfig che include i campi obbligatori da fornire con il nome del modello. Definiscilo per ContainerConfig nel campo input-config. In ContainerConfig, se lo desideri, puoi anche specificare il campo SupportedEndpointType come RealTime o Serverless. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni solo per quel tipo di endpoint. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni per entrambi i tipi di endpoint.
un nome per il processo di raccomandazione del suggeritore di inferenza per il campo job-name. Il nome del lavoro di Inference Recommender deve essere univoco all'interno della AWS regione e all'interno del tuo account. AWS

Per creare un job di raccomandazione di inferenza con un pacchetto di modelliARN, usa il seguente esempio:


aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelPackageVersionArn\": \"arn:aws:sagemaker:<region:account:role/*>\",
        }"

Per creare un processo di raccomandazione di inferenza con un nome di modello e ContainerConfig, utilizza l'esempio seguente. L'esempio utilizza il campo SupportedEndpointType per specificare che vogliamo restituire solo raccomandazioni di inferenza in tempo reale:


aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelName\": \"model-name\",
        \"ContainerConfig\" : {
                \"Domain\": \"COMPUTER_VISION\",
                \"Framework\": \"PYTORCH\",
                \"FrameworkVersion\": \"1.7.1\",
                \"NearestModelName\": \"resnet18\",
                \"PayloadConfig\": 
                    {
                        \"SamplePayloadUrl\": \"s3://{bucket}/{payload_s3_key}\", 
                        \"SupportedContentTypes\": [\"image/jpeg\"]
                    },
                \"SupportedEndpointType\": \"RealTime\",
                \"DataInputConfig\": \"[[1,3,256,256]]\",
                \"Task\": \"IMAGE_CLASSIFICATION\",
            },
        }"

Amazon SageMaker Studio Classic

Crea un lavoro di raccomandazione di inferenza in Studio Classic.

Nell'applicazione Studio Classic, scegliete l'icona Home ( ).
Nella barra laterale sinistra di Studio Classic, scegli Modelli.
Seleziona Model Registry dall'elenco a discesa per visualizzare i modelli che hai registrato nel registro dei modelli.

Il pannello di sinistra mostra un elenco di gruppi di modelli. L'elenco include tutti i gruppi di modelli registrati nel registro dei modelli nel tuo account, inclusi i modelli registrati al di fuori di Studio Classic.
Seleziona il nome del gruppo di modelli. Quando selezionate il gruppo di modelli, nel riquadro destro di Studio Classic sono visualizzate le intestazioni delle colonne, ad esempio Versioni e Impostazioni.

Se avete uno o più pacchetti di modelli all'interno del gruppo di modelli, nella colonna Versioni viene visualizzato un elenco di tali pacchetti di modelli.
Seleziona la colonna Suggeritore di inferenza.
Scegliete un IAM ruolo che conceda a Inference Recommender l'autorizzazione ad accedere ai servizi. AWS A tale scopo, è possibile creare un ruolo e allegare la politica AmazonSageMakerFullAccess IAM gestita. Oppure puoi lasciare che Studio Classic crei un ruolo per te.
Scegliere Get recommendations (Ottieni le raccomandazioni).

La raccomandazione di inferenza può richiedere fino a 45 minuti.

avvertimento
Non chiudere questa scheda. Se si chiude questa scheda, si annulla il processo di raccomandazione dell'istanza.

SageMaker AI console

Crea un processo di raccomandazione delle istanze tramite la console SageMaker AI effettuando le seguenti operazioni:

Vai alla console SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.
Nel riquadro di navigazione di sinistra, seleziona Inferenza e poi Suggeritore di inferenza.
Nella pagina dei processi del suggeritore di inferenza, seleziona Crea processo.
Per fase 1, configurazione di modelli, procedi come segue:
1. Per Tipo di processo, seleziona Processo del suggeritore predefinito.
2. Se utilizzi un modello registrato nel registro dei modelli SageMaker AI, attiva l'interruttore Scegli un modello dal registro dei modelli ed esegui le seguenti operazioni:
  1. Dall'elenco a discesa del gruppo di modelli, scegli il gruppo di modelli nel registro dei modelli SageMaker AI in cui si trova il tuo modello.
  2. Dall'elenco a discesa Versione del modello, scegli la versione desiderata del modello.
3. Se stai utilizzando un modello che hai creato in SageMaker AI, disattiva l'interruttore Scegli un modello dal registro dei modelli ed esegui le seguenti operazioni:
  1. Nel campo Nome modello, inserisci il nome del tuo modello SageMaker AI.
4. Dall'elenco a discesa dei IAMruoli, puoi selezionare un AWS IAM ruolo esistente che dispone delle autorizzazioni necessarie per creare un processo di raccomandazione delle istanze. In alternativa, se non disponi di un ruolo esistente, puoi scegliere Crea un nuovo ruolo per aprire il pop-up di creazione del ruolo e l' SageMaker IA aggiunge le autorizzazioni necessarie al nuovo ruolo che crei.
5. Per Bucket S3 per l'esecuzione del benchmark del payload, inserisci il percorso Amazon S3 all'archivio del payload di esempio, che dovrebbe contenere i file di payload di esempio utilizzati dal suggeritore di inferenza per eseguire il benchmark del tuo modello in base a diversi tipi di istanze.
6. Per Tipo di contenuto Payload, inserisci i MIME tipi di dati di esempio del payload.
7. (Facoltativo) Se hai disattivato l'opzione Scegli un modello dal registro dei modelli e hai specificato un modello SageMaker AI, per la configurazione del contenitore, procedi come segue:
  1. Per l'elenco a discesa Dominio, seleziona il dominio di machine learning del modello, ad esempio visione artificiale, elaborazione del linguaggio naturale o machine learning.
  2. Per l'elenco a discesa Framework, seleziona il framework del contenitore, ad esempio o. TensorFlow XGBoost
  3. Per Versione del framework, inserisci la versione del framework dell'immagine del container.
  4. Per l'elenco a discesa Nome del modello più vicino, seleziona il modello pre-addestrato che più si avvicina al tuo.
  5. Nell'elenco a discesa Attività, seleziona l'attività di machine learning svolta dal modello, ad esempio la classificazione o la regressione delle immagini.
8. (Facoltativo) Per la compilazione del modello con SageMaker Neo, puoi configurare il processo di raccomandazione per un modello che hai compilato usando SageMaker Neo. Per configurazione dell'input dei dati, inserisci la forma dei dati di input corretta per il tuo modello in un formato simile a {'input':[1,1024,1024,3]}.
9. Scegli Next (Successivo).
Per fase 2, istanze e parametri di ambiente, effettua le seguenti operazioni:
1. (Facoltativo) Per Seleziona le istanze per l'esecuzione dei benchmark, puoi selezionare fino a 8 tipi di istanze da sottoporre a benchmark. Se non selezioni alcuna istanza, il suggeritore di inferenza considera tutti i tipi di istanze.
2. Scegli Next (Successivo).
Per fase 3, parametri del processo, effettua le seguenti operazioni:
1. (Facoltativo) Nel campo Nome del processo, immetti un nome per il tuo processo di raccomandazione dell'istanza. Quando crei il lavoro, SageMaker AI aggiunge un timestamp alla fine di questo nome.
2. (Facoltativo) Per il campo Descrizione processo, immetti una descrizione per il processo.
3. (Facoltativo) Per l'elenco a discesa della chiave di crittografia, scegli una AWS KMS chiave per nome o inseriscila per ARN crittografare i tuoi dati.
4. (Facoltativo) Per durata massima de test, inserisci il numero massimo di secondi per cui desideri che ciascun test venga eseguito.
5. (Facoltativo) Per il numero massimo di invocazioni al minuto, inserisci il numero massimo di richieste al minuto che l'endpoint può raggiungere prima dell'interruzione del processo di raccomandazione. Dopo aver raggiunto questo limite, l' SageMaker IA termina il lavoro.
6. (Facoltativo) Per la soglia di latenza del modello P99 (ms), inserisci il percentile di latenza del modello in millisecondi.
7. Scegli Next (Successivo).
Per fase 4, esamina il processo, esamina le configurazioni e quindi seleziona Invia.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Raccomandazioni di inferenza

Ottieni i risultati del processo di raccomandazione di inferenza

Creazione di una raccomandazione di inferenza

avvertimento