Implementare un modello - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementare un modello

Quando distribuisci un modello da JumpStart, l' SageMaker IA ospita il modello e distribuisce un endpoint che puoi utilizzare per l'inferenza. JumpStart fornisce anche un notebook di esempio che è possibile utilizzare per accedere al modello dopo la distribuzione.

Importante

A partire dal 30 novembre 2023, la precedente esperienza Amazon SageMaker Studio è ora denominata Amazon SageMaker Studio Classic. La sezione seguente è specifica per l'utilizzo dell'applicazione Studio Classic. Per informazioni sull'utilizzo dell'esperienza Studio aggiornata, consultaAmazon SageMaker Studio.

Nota

Per ulteriori informazioni sulla distribuzione dei JumpStart modelli in Studio, vedere Implementa un modello in Studio

Configurazione dell'implementazione

Dopo aver scelto un modello, si apre la relativa scheda. Nel riquadro Distribuisci modello, scegliere Configurazione implementazione per configurare l'implementazione del modello.

The Deploy Model pane.

Il tipo di istanza predefinito per l'implementazione di un modello dipende dal modello. Il tipo di istanza è l'hardware su cui viene eseguito il processo di addestramento. Nell'esempio seguente, l'istanza ml.p2.xlarge è quella predefinita per questo particolare modello BERT.

Puoi anche modificare il nome dell'endpoint, aggiungere tag di key;value risorsa, attivare o disattivare il jumpstart- prefisso per qualsiasi JumpStart risorsa correlata al modello e specificare un bucket Amazon S3 per archiviare gli artefatti del modello utilizzati dal tuo endpoint AI. SageMaker

JumpStart Deploy Model pane with Deployment Configuration open to select its settings.

Scegli Impostazioni di sicurezza per specificare il ruolo AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC) e le chiavi di crittografia per il modello.

JumpStart Deploy Model pane with Security Settings open to select its settings.

Sicurezza dell'implementazione del modello

Quando distribuisci un modello con JumpStart, puoi specificare un ruolo IAM, Amazon VPC e chiavi di crittografia per il modello. Se non specifichi alcun valore per queste voci: il ruolo IAM predefinito è il ruolo di runtime di Studio Classic; viene utilizzata la crittografia predefinita; non viene utilizzato Amazon VPC.

Ruolo IAM

Puoi selezionare un ruolo IAM che viene passato come parte dei lavori di formazione e dei lavori di hosting. SageMaker L'intelligenza artificiale utilizza questo ruolo per accedere ai dati di formazione e agli artefatti dei modelli. Se non selezioni un ruolo IAM, SageMaker AI distribuisce il modello utilizzando il ruolo di runtime di Studio Classic. Per ulteriori informazioni sui ruoli IAM, consultare AWS Identity and Access Management per Amazon SageMaker AI.

Il ruolo assegnato deve avere accesso alle risorse necessarie al modello e deve includere tutti i seguenti elementi.

Nota

È possibile definire le autorizzazioni Amazon S3 concesse in ciascuno dei seguenti ruoli. A tale scopo, utilizza l'ARN del bucket Amazon Simple Storage Service (Amazon S3) e del bucket Amazon S3. JumpStart

[ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::jumpstart-cache-prod-<region>/*", "arn:aws:s3:::jumpstart-cache-prod-<region>", "arn:aws:s3:::<bucket>/*" ] }, { "Effect": "Allow", "Action": [ "cloudwatch:PutMetricData", "logs:CreateLogStream", "logs:PutLogEvents", "logs:CreateLogGroup", "logs:DescribeLogStreams", "ecr:GetAuthorizationToken" ], "Resource": [ "*" ] }, { "Effect": "Allow", "Action": [ "ecr:BatchGetImage", "ecr:BatchCheckLayerAvailability", "ecr:GetDownloadUrlForLayer" ], "Resource": [ "*" ] }, ] }

Trova il ruolo IAM

Se si seleziona questa opzione è necessario selezionare un ruolo IAM esistente dall'elenco a discesa.

JumpStart Security Settings IAM section with Find IAM role selected.

Inserisci ruolo IAM

Selezionando questa opzione è necessario inserire manualmente l'ARN per un ruolo IAM esistente. Se il ruolo di runtime di Studio Classic o Amazon VPC bloccano la iam:list* chiamata, devi utilizzare questa opzione per utilizzare un ruolo IAM esistente.

JumpStart Security Settings IAM section with Input IAM role selected.

Amazon VPC

Tutti i JumpStart modelli funzionano in modalità di isolamento della rete. Dopo aver creato il container del modello non è possibile effettuare altre chiamate. Puoi selezionare un Amazon VPC da utilizzare come parte dei lavori di formazione e hosting. SageMaker L'intelligenza artificiale utilizza questo Amazon VPC per inviare ed estrarre risorse dal tuo bucket Amazon S3. Questo Amazon VPC è diverso da Amazon VPC che limita l'accesso alla rete Internet pubblica dall'istanza di Studio Classic. Per ulteriori informazioni su Studio Classic Amazon VPC, consulta. Collega i notebook Connect Studio in un VPC a risorse esterne

L'Amazon VPC che viene trasmesso non necessita dell'accesso alla rete Internet pubblica, ma richiede l'accesso ad Amazon S3. L'endpoint VPC Amazon VPC per Amazon S3 deve consentire almeno l'accesso alle seguenti risorse necessarie al modello.

{ "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject", "s3:ListMultipartUploadParts", "s3:ListBucket" ], "Resources": [ "arn:aws:s3:::jumpstart-cache-prod-<region>/*", "arn:aws:s3:::jumpstart-cache-prod-<region>", "arn:aws:s3:::bucket/*" ] }

Se non si seleziona un Amazon VPC, non viene utilizzato alcun Amazon VPC.

Trova VPC

Se si seleziona questa opzione è necessario selezionare un Amazon VPC esistente dall'elenco a discesa. Dopo aver selezionato un Amazon VPC, è necessario selezionare una sottorete e un gruppo di sicurezza per l'Amazon VPC. Per ulteriori informazioni sulle sottoreti e sui gruppi di sicurezza, consulta Panoramica delle sottoreti e delle VPCs sottoreti.

JumpStart Security Settings VPC section with Find VPC selected.

VPC di ingresso

Se si seleziona questa opzione è necessario selezionare manualmente la sottorete e il gruppo di sicurezza che compongono l'Amazon VPC. Se il ruolo di runtime di Studio Classic o Amazon VPC blocca la ec2:list* chiamata, devi utilizzare questa opzione per selezionare la sottorete e il gruppo di sicurezza.

JumpStart Security Settings VPC section with Input VPC selected.

Chiavi di crittografia

Puoi selezionare una AWS KMS chiave che viene passata come parte dei lavori di formazione e dei lavori di hosting. SageMaker L'intelligenza artificiale utilizza questa chiave per crittografare il volume Amazon EBS per il contenitore e il modello riconfezionato in Amazon S3 per i lavori di hosting e l'output per i lavori di formazione. Per ulteriori informazioni sulle AWS KMS chiavi, consulta keys.AWS KMS

La chiave che viene trasmessa deve fidarsi del ruolo IAM trasmesso. Se non specificate un ruolo IAM, la AWS KMS chiave deve considerare attendibile il vostro ruolo di runtime di Studio Classic.

Se non selezioni una AWS KMS chiave, SageMaker AI fornisce la crittografia predefinita per i dati nel volume Amazon EBS e gli artefatti Amazon S3.

Trova chiavi di crittografia

Se si seleziona questa opzione, è necessario selezionare AWS KMS le chiavi esistenti dall'elenco a discesa.

JumpStart Security Settings encryption section with Find encryption keys selected.

Chiavi di crittografia di input

Se si seleziona questa opzione, è necessario immettere manualmente le AWS KMS chiavi. Se il ruolo di esecuzione di Studio Classic o Amazon VPC bloccano la kms:list* chiamata, devi utilizzare questa opzione per selezionare le chiavi esistenti AWS KMS .

JumpStart Security Settings encryption section with Input encryption keys selected.

Configura i valori predefiniti per i modelli JumpStart

Puoi configurare i valori predefiniti per parametri come i ruoli IAM e le chiavi KMS da precompilare per la distribuzione e la formazione dei JumpStart modelli. VPCs Dopo aver configurato i valori predefiniti, l'interfaccia utente di Studio Classic fornisce automaticamente le impostazioni e i tag di sicurezza specificati ai JumpStart modelli per semplificare i flussi di lavoro di implementazione e formazione. Gli amministratori e gli utenti finali possono inizializzare i valori predefiniti specificati in un file di configurazione in formato YAML.

Per impostazione predefinita, SageMaker Python SDK utilizza due file di configurazione: uno per l'amministratore e uno per l'utente. Utilizzando il file di configurazione dell'amministratore, gli amministratori possono definire un set di valori predefiniti. Gli utenti finali possono sovrascrivere i valori impostati nel file di configurazione dell'amministratore e impostare valori predefiniti aggiuntivi utilizzando il file di configurazione dell'utente finale. Per ulteriori informazioni, consultare Configurazione predefinita posizione del file.

Il seguente esempio di codice elenca le posizioni predefinite dei file di configurazione quando si utilizza l'SDK SageMaker Python in Amazon SageMaker Studio Classic.

# Location of the admin config file /etc/xdg/sagemaker/config.yaml # Location of the user config file /root/.config/sagemaker/config.yaml

I valori specificati nel file di configurazione dell'utente sostituiscono i valori impostati nel file di configurazione dell'amministratore. Il file di configurazione è unico per ogni profilo utente all'interno di un dominio Amazon SageMaker AI. L'applicazione Studio Classic del profilo utente è direttamente associata al profilo utente. Per ulteriori informazioni, consulta Profili utente del dominio.

Gli amministratori possono facoltativamente impostare impostazioni di configurazione predefinite per la formazione e l'implementazione dei JumpStart modelli tramite configurazioni del ciclo di vita. JupyterServer Per ulteriori informazioni, consulta Creazione e associazione di una configurazione del ciclo di vita.

Il file di configurazione deve aderire alla struttura del file di configurazione di SageMaker Python SDK. Tieni presente che i campi specifici di TrainingJobModel, e le EndpointConfig configurazioni si applicano ai valori predefiniti di addestramento e JumpStart distribuzione del modello.

SchemaVersion: '1.0' SageMaker: TrainingJob: OutputDataConfig: KmsKeyId: example-key-id ResourceConfig: # Training configuration - Volume encryption key VolumeKmsKeyId: example-key-id # Training configuration form - IAM role RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole VpcConfig: # Training configuration - Security groups SecurityGroupIds: - sg-1 - sg-2 # Training configuration - Subnets Subnets: - subnet-1 - subnet-2 # Training configuration - Custom resource tags Tags: - Key: Example-key Value: Example-value Model: EnableNetworkIsolation: true # Deployment configuration - IAM role ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole VpcConfig: # Deployment configuration - Security groups SecurityGroupIds: - sg-1 - sg-2 # Deployment configuration - Subnets Subnets: - subnet-1 - subnet-2 EndpointConfig: AsyncInferenceConfig: OutputConfig: KmsKeyId: example-key-id DataCaptureConfig: # Deployment configuration - Volume encryption key KmsKeyId: example-key-id KmsKeyId: example-key-id # Deployment configuration - Custom resource tags Tags: - Key: Example-key Value: Example-value