Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menerapkan titik akhir inferensi menggunakan API, AWS CLI

Untuk menggunakan rencana SageMaker pelatihan pada titik akhir SageMaker inferensi, tentukan MlReservationArn parameter dengan ARN sumber daya rencana pelatihan yang diinginkan di CapacityReservationConfig saat memanggil operasi API. CreateEndpointConfig Anda dapat menggunakan tepat satu paket per titik akhir inferensi.

Buat konfigurasi titik akhir dengan reservasi rencana pelatihan

Buat konfigurasi titik akhir yang mengikat titik akhir inferensi Anda ke kapasitas cadangan. Sertakan CapacityReservationConfig objek di ProductionVariants bagian, atur MlReservationArn ke rencana pelatihan Anda ARN.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

CapacityReservationPreferencePengaturan capacity-reservations-only memastikan titik akhir hanya berjalan pada kapasitas cadangan dan berhenti melayani lalu lintas ketika reservasi berakhir.

Terapkan titik akhir pada kapasitas cadangan

Dengan konfigurasi titik akhir siap, terapkan titik akhir.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

Titik akhir sekarang berjalan sepenuhnya dalam kapasitas rencana pelatihan yang dicadangkan. Setelah titik akhir mencapai InService status, Anda dapat memanggilnya untuk inferensi.

Memanggil titik akhir

Selama jendela reservasi aktif, titik akhir beroperasi secara normal dengan akses kapasitas yang dapat diprediksi.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

Perbarui titik akhir

SageMaker AI mendukung beberapa skenario pembaruan sambil mempertahankan koneksi ke kapasitas cadangan.

Perbarui ke versi model baru

Anda dapat memperbarui ke versi model baru sambil mempertahankan kapasitas cadangan yang sama.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

Bermigrasi dari rencana pelatihan ke kapasitas sesuai permintaan

Untuk mentransisikan titik akhir di luar periode reservasi, Anda dapat bermigrasi ke kapasitas sesuai permintaan.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

Skala titik akhir

Jika Anda memesan kapasitas lebih dari yang digunakan sebelumnya, Anda dapat meningkatkan skala dalam batas reservasi.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

Hapus titik akhir

Saat Anda tidak lagi membutuhkan titik akhir inferensi, hapus bersama dengan konfigurasi titik akhir.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"