Utilizzo di un Registro Docker privato per Container di inferenza in tempo reale

Per utilizzare un'immagine archiviata nel registro Docker privato per il container di inferenza

1. Crea l'oggetto di configurazione dell'immagine e specifica un valore Vpc per il campo RepositoryAccessMode.

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. Se il registro Docker privato richiede l'autenticazione, aggiungi un oggetto RepositoryAuthConfig all'oggetto di configurazione dell'immagine. Per il RepositoryCredentialsProviderArn campo dell'RepositoryAuthConfigoggetto, specifica l'Amazon Resource Name (ARN) di una AWS Lambda funzione che fornisce credenziali che consentono l'autenticazione nel tuo SageMaker Docker Registry privato. Per informazioni su come creare la funzione Lambda per fornire l'autenticazione, consultare Consenti SageMaker l'autenticazione in un registro Docker privato.

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. Creare l'oggetto container principale che si desidera passare a create_model, utilizzando l'oggetto di configurazione dell'immagine creato nel passaggio precedente.

   Fornisci la tua immagine in formato riassunto. Se fornisci l'immagine utilizzando il :latest tag, c'è il rischio che SageMaker recuperi una versione dell'immagine più recente di quella prevista. L'utilizzo del modulo riepilogativo assicura che venga recuperata la SageMaker versione dell'immagine desiderata.

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. Specificare il nome del modello e il ruolo di esecuzione a cui si desidera trasferire create_model.

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. Specificare uno o più gruppi di sicurezza e sottoreti per la configurazione VPC per il proprio modello. Il registro Docker privato deve consentire il traffico in ingresso dai gruppi di sicurezza specificati. Le sottoreti specificate devono trovarsi nello stesso VPC del registro Docker privato.

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Procurati un client Boto3 SageMaker .

   import boto3
   sm = boto3.client('sagemaker')

7. Crea il modello richiamando create_model, utilizzando i valori specificati nei passaggi precedenti per i parametri PrimaryContainer e VpcConfig.

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. Infine, richiama create_endpoint_config e create_endpoint per creare l'endpoint di hosting, utilizzando il modello creato nel passaggio precedente.

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)