Implementare un modello

Quando distribuisci un modello da JumpStart, SageMaker ospita il modello e distribuisce un endpoint che puoi utilizzare per l'inferenza. JumpStart fornisce anche un notebook di esempio che è possibile utilizzare per accedere al modello dopo la distribuzione.

Configurazione dell'implementazione

Dopo aver scelto un modello, si apre la relativa scheda. Nel riquadro Distribuisci modello, scegliere Configurazione implementazione per configurare l'implementazione del modello.

Il tipo di istanza predefinito per l'implementazione di un modello dipende dal modello. Il tipo di istanza è l'hardware su cui viene eseguito il processo di addestramento. Nell'esempio seguente, l'ml.p2.xlargeistanza è l'istanza predefinita per questo particolare BERT modello.

Puoi anche modificare il nome dell'endpoint, aggiungere tag di key;value risorsa, attivare o disattivare il jumpstart- prefisso per qualsiasi JumpStart risorsa correlata al modello e specificare un bucket Amazon S3 per archiviare gli artefatti del modello utilizzati dal tuo endpoint. SageMaker

Scegli Impostazioni di sicurezza per specificare il ruolo AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (AmazonVPC) e le chiavi di crittografia per il modello.

Sicurezza dell'implementazione del modello

Quando distribuisci un modello con JumpStart, puoi specificare un IAM ruoloVPC, Amazon e le chiavi di crittografia per il modello. Se non specifichi alcun valore per queste voci: il IAM ruolo predefinito è il ruolo di runtime di Studio Classic; viene utilizzata la crittografia predefinita; non VPC viene utilizzato Amazon.

IAMruolo

Puoi selezionare un IAM ruolo da assegnare come parte dei lavori di formazione e dei lavori di hosting. SageMaker utilizza questo ruolo per accedere ai dati di addestramento e agli artefatti del modello. Se non si seleziona un IAM ruolo, SageMaker distribuisce il modello utilizzando il ruolo di runtime di Studio Classic. Per ulteriori informazioni sui IAM ruoli, consultaIdentity and Access Management per Amazon SageMaker.

Il ruolo assegnato deve avere accesso alle risorse necessarie al modello e deve includere tutti i seguenti elementi.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Trova un ruolo IAM

Se si seleziona questa opzione, è necessario selezionare un IAM ruolo esistente dall'elenco a discesa.

Ruolo di input IAM

Se si seleziona questa opzione, è necessario immettere manualmente il ruolo ARN per un IAM ruolo esistente. Se il tuo ruolo di runtime di Studio Classic o Amazon VPC bloccano la iam:list* chiamata, devi utilizzare questa opzione per utilizzare un IAM ruolo esistente.

Amazon VPC

Tutti i JumpStart modelli funzionano in modalità di isolamento della rete. Dopo aver creato il container del modello non è possibile effettuare altre chiamate. Puoi selezionare un Amazon VPC che viene accettato come parte dei lavori di formazione e dei lavori di hosting. SageMaker utilizza questo Amazon VPC per inviare e prelevare risorse dal tuo bucket Amazon S3. Questo Amazon VPC è diverso da Amazon VPC che limita l'accesso alla rete Internet pubblica dall'istanza di Studio Classic. Per ulteriori informazioni su Studio Classic AmazonVPC, consultaCollega i notebook Connect Studio in un a a risorse esterne VPC.

L'Amazon VPC che passi non ha bisogno di accedere alla rete Internet pubblica, ma ha bisogno dell'accesso ad Amazon S3. L'VPCendpoint Amazon per Amazon S3 deve consentire l'accesso almeno alle seguenti risorse richieste dal modello.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Se non selezioni un AmazonVPC, non VPC viene utilizzato alcun Amazon.

Trova VPC

Se selezioni questa opzione, devi selezionare un Amazon esistente VPC dall'elenco a discesa. Dopo aver selezionato un AmazonVPC, devi selezionare una sottorete e un gruppo di sicurezza per AmazonVPC. Per ulteriori informazioni sulle sottoreti e sui gruppi di sicurezza, consulta Panoramica delle sottoreti e delle VPCs sottoreti.

Ingresso VPC

Se selezioni questa opzione, devi selezionare manualmente la sottorete e il gruppo di sicurezza che compongono il tuo Amazon. VPC Se il tuo ruolo di runtime di Studio Classic o Amazon VPC blocca la ec2:list* chiamata, devi utilizzare questa opzione per selezionare la sottorete e il gruppo di sicurezza.

Chiavi di crittografia

Puoi selezionare una AWS KMS chiave che viene passata come parte dei lavori di formazione e dei lavori di hosting. SageMaker utilizza questa chiave per crittografare il EBS volume Amazon per il contenitore e il modello riconfezionato in Amazon S3 per i lavori di hosting e l'output per i lavori di formazione. Per ulteriori informazioni sulle AWS KMS chiavi, consulta keys.AWS KMS

La chiave che passi deve avere fiducia nel IAM ruolo che assegni. Se non specificate un IAM ruolo, la AWS KMS chiave deve considerare attendibile il vostro ruolo di runtime di Studio Classic.

Se non selezioni alcuna AWS KMS chiave, SageMaker fornisce la crittografia predefinita per i dati nel EBS volume Amazon e gli artefatti Amazon S3.

Trova chiavi di crittografia

Se selezioni questa opzione, devi selezionare AWS KMS le chiavi esistenti dall'elenco a discesa.

Chiavi di crittografia di input

Se si seleziona questa opzione, è necessario immettere manualmente le AWS KMS chiavi. Se il tuo ruolo di esecuzione di Studio Classic o Amazon VPC bloccano la kms:list* chiamata, devi utilizzare questa opzione per selezionare AWS KMS le chiavi esistenti.

Configura i valori predefiniti per JumpStart i modelli

È possibile configurare valori predefiniti per parametri quali IAM ruoli e KMS chiavi da precompilare per la distribuzione e la formazione dei JumpStart modelli. VPCs Dopo aver configurato i valori predefiniti, l'interfaccia utente di Studio Classic fornisce automaticamente le impostazioni e i tag di sicurezza specificati ai JumpStart modelli per semplificare i flussi di lavoro di distribuzione e formazione. Gli amministratori e gli utenti finali possono inizializzare i valori predefiniti specificati in un file di configurazione in formato. YAML

Per impostazione predefinita, SageMaker Python SDK utilizza due file di configurazione: uno per l'amministratore e uno per l'utente. Utilizzando il file di configurazione dell'amministratore, gli amministratori possono definire un set di valori predefiniti. Gli utenti finali possono sovrascrivere i valori impostati nel file di configurazione dell'amministratore e impostare valori predefiniti aggiuntivi utilizzando il file di configurazione dell'utente finale. Per ulteriori informazioni, consultare Configurazione predefinita posizione del file.

Il seguente esempio di codice elenca le posizioni predefinite dei file di configurazione quando si utilizza SageMaker Python in SDK Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

I valori specificati nel file di configurazione dell'utente sostituiscono i valori impostati nel file di configurazione dell'amministratore. Il file di configurazione è unico per ogni profilo utente all'interno di un SageMaker dominio Amazon. L'applicazione Studio Classic del profilo utente è direttamente associata al profilo utente. Per ulteriori informazioni, consulta Profili utente del dominio.

Gli amministratori possono facoltativamente impostare impostazioni di configurazione predefinite per la formazione e l'implementazione dei JumpStart modelli tramite configurazioni del ciclo di vita. JupyterServer Per ulteriori informazioni, consulta Creazione e associazione di una configurazione del ciclo di vita.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value