Use um registro privado do Docker para contêineres de inferência em tempo real

Usando uma imagem armazenada no seu registro privado do Docker para seu contêiner de inferência

1. Crie o objeto de configuração de imagem e especifique um valor de Vpc para o campo RepositoryAccessMode.

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. Se o seu registro privado do Docker exigir autenticação, adicione um objeto RepositoryAuthConfig ao objeto de configuração de imagem. Para o RepositoryCredentialsProviderArn campo do RepositoryAuthConfig objeto, especifique o Amazon Resource Name (ARN) de uma AWS Lambda função que fornece credenciais que permitem SageMaker a autenticação em seu Docker Registry privado. Para obter informações sobre como criar a função do Lambda para fornecer autenticação, consulte Permitir SageMaker a autenticação em um registro Docker privado.

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. Crie o objeto de contêiner primário que você deseja passar para create_model, usando o objeto de configuração de imagem que você criou na etapa anterior.

   Forneça sua imagem em formato de resumo. Se você fornecer sua imagem usando a :latest tag, existe o risco de SageMaker extrair uma versão mais recente da imagem do que a pretendida. O uso do formulário de resumo garante que ele SageMaker extraia a versão de imagem pretendida.

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. Especifique o nome do modelo e o perfil de execução para o qual você quer passar para create_model.

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. Especifique um ou mais grupos de segurança e sub-redes para a configuração da VPC do seu modelo. Seu registro particular do Docker deve permitir o tráfego de entrada dos grupos de segurança que você especifica. As sub-redes que você especifica devem estar na mesma VPC do seu registro particular do Docker.

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Obtenha um cliente Boto3 SageMaker .

   import boto3
   sm = boto3.client('sagemaker')

7. Crie o modelo chamando create_model, usando os valores que você especificou nas etapas anteriores para os parâmetros PrimaryContainer e VpcConfig.

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. Por fim, chame create_endpoint_config e create_endpoint para criar o endpoint de hospedagem, usando o modelo que você criou na etapa anterior.

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)