Implementare un modello

Quando distribuisci un modello da JumpStart, l' SageMaker IA ospita il modello e distribuisce un endpoint che puoi utilizzare per l'inferenza. JumpStart fornisce anche un notebook di esempio che è possibile utilizzare per accedere al modello dopo la distribuzione.

Configurazione dell'implementazione

Dopo aver scelto un modello, si apre la relativa scheda. Nel riquadro Distribuisci modello, scegliere Configurazione implementazione per configurare l'implementazione del modello.

Il tipo di istanza predefinito per l'implementazione di un modello dipende dal modello. Il tipo di istanza è l'hardware su cui viene eseguito il processo di addestramento. Nell'esempio seguente, l'istanza ml.p2.xlarge è quella predefinita per questo particolare modello BERT.

Puoi anche modificare il nome dell'endpoint, aggiungere tag di key;value risorsa, attivare o disattivare il jumpstart- prefisso per qualsiasi JumpStart risorsa correlata al modello e specificare un bucket Amazon S3 per archiviare gli artefatti del modello utilizzati dal tuo endpoint AI. SageMaker

Scegli Impostazioni di sicurezza per specificare il ruolo AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC) e le chiavi di crittografia per il modello.

Sicurezza dell'implementazione del modello

Quando distribuisci un modello con JumpStart, puoi specificare un ruolo IAM, Amazon VPC e chiavi di crittografia per il modello. Se non specifichi alcun valore per queste voci: il ruolo IAM predefinito è il ruolo di runtime di Studio Classic; viene utilizzata la crittografia predefinita; non viene utilizzato Amazon VPC.

Ruolo IAM

Puoi selezionare un ruolo IAM che viene passato come parte dei lavori di formazione e dei lavori di hosting. SageMaker L'intelligenza artificiale utilizza questo ruolo per accedere ai dati di formazione e agli artefatti dei modelli. Se non selezioni un ruolo IAM, SageMaker AI distribuisce il modello utilizzando il ruolo di runtime di Studio Classic. Per ulteriori informazioni sui ruoli IAM, consultare AWS Identity and Access Management per Amazon SageMaker AI.

Il ruolo assegnato deve avere accesso alle risorse necessarie al modello e deve includere tutti i seguenti elementi.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

Trova il ruolo IAM

Se si seleziona questa opzione è necessario selezionare un ruolo IAM esistente dall'elenco a discesa.

Inserisci ruolo IAM

Selezionando questa opzione è necessario inserire manualmente l'ARN per un ruolo IAM esistente. Se il ruolo di runtime di Studio Classic o Amazon VPC bloccano la iam:list* chiamata, devi utilizzare questa opzione per utilizzare un ruolo IAM esistente.

Amazon VPC

Tutti i JumpStart modelli funzionano in modalità di isolamento della rete. Dopo aver creato il container del modello non è possibile effettuare altre chiamate. Puoi selezionare un Amazon VPC da utilizzare come parte dei lavori di formazione e hosting. SageMaker L'intelligenza artificiale utilizza questo Amazon VPC per inviare ed estrarre risorse dal tuo bucket Amazon S3. Questo Amazon VPC è diverso da Amazon VPC che limita l'accesso alla rete Internet pubblica dall'istanza di Studio Classic. Per ulteriori informazioni su Studio Classic Amazon VPC, consulta. Collega i notebook Connect Studio in un VPC a risorse esterne

L'Amazon VPC che viene trasmesso non necessita dell'accesso alla rete Internet pubblica, ma richiede l'accesso ad Amazon S3. L'endpoint VPC Amazon VPC per Amazon S3 deve consentire almeno l'accesso alle seguenti risorse necessarie al modello.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Se non si seleziona un Amazon VPC, non viene utilizzato alcun Amazon VPC.

Trova VPC

Se si seleziona questa opzione è necessario selezionare un Amazon VPC esistente dall'elenco a discesa. Dopo aver selezionato un Amazon VPC, è necessario selezionare una sottorete e un gruppo di sicurezza per l'Amazon VPC. Per ulteriori informazioni sulle sottoreti e sui gruppi di sicurezza, consulta Panoramica delle sottoreti e delle VPCs sottoreti.

VPC di ingresso

Se si seleziona questa opzione è necessario selezionare manualmente la sottorete e il gruppo di sicurezza che compongono l'Amazon VPC. Se il ruolo di runtime di Studio Classic o Amazon VPC blocca la ec2:list* chiamata, devi utilizzare questa opzione per selezionare la sottorete e il gruppo di sicurezza.

Chiavi di crittografia

Puoi selezionare una AWS KMS chiave che viene passata come parte dei lavori di formazione e dei lavori di hosting. SageMaker L'intelligenza artificiale utilizza questa chiave per crittografare il volume Amazon EBS per il contenitore e il modello riconfezionato in Amazon S3 per i lavori di hosting e l'output per i lavori di formazione. Per ulteriori informazioni sulle AWS KMS chiavi, consulta keys.AWS KMS

La chiave che viene trasmessa deve fidarsi del ruolo IAM trasmesso. Se non specificate un ruolo IAM, la AWS KMS chiave deve considerare attendibile il vostro ruolo di runtime di Studio Classic.

Se non selezioni una AWS KMS chiave, SageMaker AI fornisce la crittografia predefinita per i dati nel volume Amazon EBS e gli artefatti Amazon S3.

Trova chiavi di crittografia

Se si seleziona questa opzione, è necessario selezionare AWS KMS le chiavi esistenti dall'elenco a discesa.

Chiavi di crittografia di input

Se si seleziona questa opzione, è necessario immettere manualmente le AWS KMS chiavi. Se il ruolo di esecuzione di Studio Classic o Amazon VPC bloccano la kms:list* chiamata, devi utilizzare questa opzione per selezionare le chiavi esistenti AWS KMS .

Configura i valori predefiniti per i modelli JumpStart

Puoi configurare i valori predefiniti per parametri come i ruoli IAM e le chiavi KMS da precompilare per la distribuzione e la formazione dei JumpStart modelli. VPCs Dopo aver configurato i valori predefiniti, l'interfaccia utente di Studio Classic fornisce automaticamente le impostazioni e i tag di sicurezza specificati ai JumpStart modelli per semplificare i flussi di lavoro di implementazione e formazione. Gli amministratori e gli utenti finali possono inizializzare i valori predefiniti specificati in un file di configurazione in formato YAML.

Per impostazione predefinita, SageMaker Python SDK utilizza due file di configurazione: uno per l'amministratore e uno per l'utente. Utilizzando il file di configurazione dell'amministratore, gli amministratori possono definire un set di valori predefiniti. Gli utenti finali possono sovrascrivere i valori impostati nel file di configurazione dell'amministratore e impostare valori predefiniti aggiuntivi utilizzando il file di configurazione dell'utente finale. Per ulteriori informazioni, consultare Configurazione predefinita posizione del file.

Il seguente esempio di codice elenca le posizioni predefinite dei file di configurazione quando si utilizza l'SDK SageMaker Python in Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

I valori specificati nel file di configurazione dell'utente sostituiscono i valori impostati nel file di configurazione dell'amministratore. Il file di configurazione è unico per ogni profilo utente all'interno di un dominio Amazon SageMaker AI. L'applicazione Studio Classic del profilo utente è direttamente associata al profilo utente. Per ulteriori informazioni, consulta Profili utente del dominio.

Gli amministratori possono facoltativamente impostare impostazioni di configurazione predefinite per la formazione e l'implementazione dei JumpStart modelli tramite configurazioni del ciclo di vita. JupyterServer Per ulteriori informazioni, consulta Creazione e associazione di una configurazione del ciclo di vita.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value