Gunakan Private Docker Registry untuk Wadah Inferensi Real-Time

Untuk menggunakan gambar yang disimpan di registri Docker pribadi Anda untuk wadah inferensi Anda

1. Buat objek konfigurasi gambar dan tentukan nilai Vpc untuk RepositoryAccessMode bidang.

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. Jika registri Docker pribadi Anda memerlukan otentikasi, tambahkan RepositoryAuthConfig objek ke objek konfigurasi gambar. Untuk RepositoryCredentialsProviderArn bidang RepositoryAuthConfig objek, tentukan Nama Sumber Daya Amazon (ARN) dari AWS Lambda fungsi yang menyediakan kredensyal yang memungkinkan SageMaker untuk mengautentikasi ke Docker Registry pribadi Anda. Untuk informasi tentang cara membuat fungsi Lambda untuk menyediakan otentikasi, lihat. Izinkan SageMaker untuk mengautentikasi ke registri Docker pribadi

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. Buat objek kontainer utama yang ingin Anda lewaticreate_model, menggunakan objek konfigurasi gambar yang Anda buat pada langkah sebelumnya.

   Berikan gambar Anda dalam bentuk intisari. Jika Anda memberikan gambar Anda menggunakan :latest tag, ada risiko yang SageMaker menarik versi gambar yang lebih baru daripada yang dimaksudkan. Menggunakan formulir intisari memastikan bahwa SageMaker menarik versi gambar yang dimaksud.

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. Tentukan nama model dan peran eksekusi yang ingin Anda berikancreate_model.

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. Tentukan satu atau beberapa grup keamanan dan subnet untuk konfigurasi VPC untuk model Anda. Registri Docker pribadi Anda harus mengizinkan lalu lintas masuk dari grup keamanan yang Anda tentukan. Subnet yang Anda tentukan harus dalam VPC yang sama dengan registri Docker pribadi Anda.

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Dapatkan klien Boto3 SageMaker .

   import boto3
   sm = boto3.client('sagemaker')

7. Buat model dengan memanggilcreate_model, menggunakan nilai yang Anda tentukan dalam langkah sebelumnya untuk VpcConfig parameter PrimaryContainer dan.

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. Terakhir, panggil create_endpoint_config dan create_endpoint untuk membuat endpoint hosting, menggunakan model yang Anda buat pada langkah sebelumnya.

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)