Utilice un registro privado de Docker para contenedores de inferencia en tiempo real

Para usar una imagen almacenada en su registro privado de Docker como contenedor de inferencias

1. Cree el objeto de configuración de la imagen y especifique un valor de Vpc para el campo RepositoryAccessMode.

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. Si su registro privado de Docker requiere autenticación, debe añadir un objeto RepositoryAuthConfig al objeto de configuración de la imagen. Para el RepositoryCredentialsProviderArn campo del RepositoryAuthConfig objeto, especifique el nombre de recurso de Amazon (ARN) de una AWS Lambda función que proporcione credenciales que permitan SageMaker autenticarse en su Docker Registry privado. Para obtener información acerca de cómo crear la función de Lambda para proporcionar autenticación, consulte Permita SageMaker autenticarse en un registro privado de Docker.

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. Cree el objeto contenedor principal que desee pasar a create_model, utilizando el objeto de configuración de imagen que creó en el paso anterior.

   Proporcione la imagen en forma de resumen. Si proporciona la imagen mediante la :latest etiqueta, existe el riesgo de que SageMaker extraiga una versión de la imagen más reciente de lo previsto. El uso del formulario de resumen garantiza que se SageMaker extraiga la versión de imagen deseada.

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. Especifique el nombre del modelo y el rol de ejecución que desea pasar a create_model.

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. Especifique uno o más grupos de seguridad y subredes para la configuración de VPC de su modelo. Su registro privado de Docker debe permitir el tráfico entrante de los grupos de seguridad que especifique. Las subredes que especifique deben estar en la misma VPC que su registro privado de Docker.

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Obtenga un cliente Boto3 SageMaker .

   import boto3
   sm = boto3.client('sagemaker')

7. Cree el modelo mediante una llamada a create_model, utilizando los valores que especificó en los pasos anteriores para los parámetros PrimaryContainer y VpcConfig.

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. Por último, llame create_endpoint_config y create_endpoint para crear el punto de conexión de alojamiento con el modelo creado en el paso anterior.

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)