Menyebarkan Model

Saat Anda menerapkan model dari JumpStart, SageMaker AI menghosting model dan menerapkan titik akhir yang dapat Anda gunakan untuk inferensi. JumpStart juga menyediakan contoh notebook yang dapat Anda gunakan untuk mengakses model setelah diterapkan.

Konfigurasi penerapan model

Setelah Anda memilih model, tab model terbuka. Di panel Deploy Model, pilih Deployment Configuration untuk mengonfigurasi penerapan model Anda.

Jenis instans default untuk menerapkan model bergantung pada model. Jenis instans adalah perangkat keras tempat pekerjaan pelatihan berjalan. Dalam contoh berikut, ml.p2.xlarge instance adalah default untuk model BERT khusus ini.

Anda juga dapat mengubah nama titik akhir, menambahkan tag key;value sumber daya, mengaktifkan atau menonaktifkan jumpstart- awalan untuk sumber JumpStart daya apa pun yang terkait dengan model, dan menentukan bucket Amazon S3 untuk menyimpan artefak model yang digunakan oleh titik akhir AI Anda. SageMaker

Pilih Pengaturan Keamanan untuk menentukan peran AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC), dan kunci enkripsi untuk model.

Keamanan penerapan model

Saat menerapkan model JumpStart, Anda dapat menentukan peran IAM, Amazon VPC, dan kunci enkripsi untuk model tersebut. Jika Anda tidak menentukan nilai apa pun untuk entri ini: Peran IAM default adalah peran runtime Studio Classic Anda; enkripsi default digunakan; tidak ada VPC Amazon yang digunakan.

Peran IAM

Anda dapat memilih peran IAM yang disahkan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan peran ini untuk mengakses data pelatihan dan artefak model. Jika Anda tidak memilih peran IAM, SageMaker AI akan menerapkan model menggunakan peran runtime Studio Classic Anda. Untuk informasi selengkapnya tentang peran IAM, lihatAWS Identity and Access Management untuk Amazon SageMaker AI.

Peran yang Anda lewati harus memiliki akses ke sumber daya yang dibutuhkan model, dan harus mencakup semua hal berikut.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

Temukan peran IAM

Jika Anda memilih opsi ini, Anda harus memilih peran IAM yang ada dari daftar dropdown.

Masukan peran IAM

Jika Anda memilih opsi ini, Anda harus memasukkan ARN secara manual untuk peran IAM yang ada. Jika peran runtime Studio Classic atau Amazon VPC memblokir iam:list* panggilan, Anda harus menggunakan opsi ini untuk menggunakan peran IAM yang ada.

Amazon VPC

Semua JumpStart model berjalan dalam mode isolasi jaringan. Setelah wadah model dibuat, tidak ada lagi panggilan yang dapat dilakukan. Anda dapat memilih VPC Amazon yang lulus sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan VPC Amazon ini untuk mendorong dan menarik sumber daya dari bucket Amazon S3 Anda. VPC Amazon ini berbeda dengan VPC Amazon yang membatasi akses ke internet publik dari instans Studio Classic Anda. Untuk informasi selengkapnya tentang Studio Classic Amazon VPC, lihat. Hubungkan notebook Studio di VPC ke sumber daya eksternal

VPC Amazon yang Anda lewati tidak memerlukan akses ke internet publik, tetapi memang membutuhkan akses ke Amazon S3. Titik akhir Amazon VPC untuk Amazon S3 harus memungkinkan akses ke setidaknya sumber daya berikut yang dibutuhkan model.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Jika Anda tidak memilih VPC Amazon, tidak ada VPC Amazon yang digunakan.

Temukan VPC

Jika Anda memilih opsi ini, Anda harus memilih VPC Amazon yang ada dari daftar tarik-turun. Setelah memilih VPC Amazon, Anda harus memilih subnet dan grup keamanan untuk VPC Amazon Anda. Untuk informasi selengkapnya tentang subnet dan grup keamanan, lihat Ikhtisar VPCs dan subnet.

Masukan VPC

Jika Anda memilih opsi ini, Anda harus secara manual memilih subnet dan grup keamanan yang menyusun VPC Amazon Anda. Jika peran runtime Studio Classic atau Amazon VPC memblokir ec2:list* panggilan, Anda harus menggunakan opsi ini untuk memilih subnet dan grup keamanan.

Kunci enkripsi

Anda dapat memilih AWS KMS kunci yang diteruskan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan kunci ini untuk mengenkripsi volume Amazon EBS untuk wadah, dan model yang dikemas ulang di Amazon S3 untuk pekerjaan hosting dan output untuk pekerjaan pelatihan. Untuk informasi selengkapnya tentang AWS KMS kunci, lihat AWS KMS kunci.

Kunci yang Anda lewati harus mempercayai peran IAM yang Anda lewati. Jika Anda tidak menentukan peran IAM, AWS KMS kunci harus mempercayai peran runtime Studio Classic Anda.

Jika Anda tidak memilih AWS KMS kunci, SageMaker AI menyediakan enkripsi default untuk data dalam volume Amazon EBS dan artefak Amazon S3.

Temukan kunci enkripsi

Jika Anda memilih opsi ini, Anda harus memilih AWS KMS kunci yang ada dari daftar dropdown.

Kunci enkripsi masukan

Jika Anda memilih opsi ini, Anda harus memasukkan AWS KMS tombol secara manual. Jika peran eksekusi Studio Classic atau Amazon VPC memblokir kms:list* panggilan, Anda harus menggunakan opsi ini untuk memilih kunci yang ada AWS KMS .

Konfigurasikan nilai default untuk JumpStart model

Anda dapat mengonfigurasi nilai default untuk parameter seperti peran IAM VPCs, dan kunci KMS untuk diisi sebelumnya untuk penerapan dan pelatihan JumpStart model. Setelah mengonfigurasi nilai default, UI Studio Classic secara otomatis menyediakan setelan keamanan dan tag yang Anda tentukan ke JumpStart model untuk menyederhanakan alur kerja penerapan dan pelatihan. Administrator dan pengguna akhir dapat menginisialisasi nilai default yang ditentukan dalam file konfigurasi dalam format YAMM.

Secara default, SageMaker Python SDK menggunakan dua file konfigurasi: satu untuk administrator dan satu untuk pengguna. Menggunakan file konfigurasi admininistrator, administrator dapat menentukan satu set nilai default. Pengguna akhir dapat mengganti nilai yang ditetapkan dalam file konfigurasi administrator dan menetapkan nilai default tambahan menggunakan file konfigurasi pengguna akhir. Untuk informasi selengkapnya, lihat Lokasi file konfigurasi default.

Contoh kode berikut mencantumkan lokasi default file konfigurasi saat menggunakan SageMaker Python SDK di Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

Nilai yang ditentukan dalam file konfigurasi pengguna mengganti nilai yang ditetapkan dalam file konfigurasi administrator. File konfigurasi unik untuk setiap profil pengguna dalam domain Amazon SageMaker AI. Aplikasi Studio Classic profil pengguna secara langsung terkait dengan profil pengguna. Untuk informasi selengkapnya, lihat Profil pengguna domain.

Administrator dapat secara opsional mengatur default konfigurasi untuk pelatihan JumpStart model dan penerapan melalui konfigurasi siklus hidup. JupyterServer Untuk informasi selengkapnya, lihat Membuat dan mengaitkan konfigurasi siklus hidup.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value