Memanggil titik akhir multi-kontainer dengan pemanggilan langsung - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memanggil titik akhir multi-kontainer dengan pemanggilan langsung

SageMaker titik akhir multi-kontainer memungkinkan pelanggan untuk menerapkan beberapa kontainer untuk menerapkan model yang berbeda pada titik akhir. SageMaker Anda dapat meng-host hingga 15 kontainer inferensi yang berbeda pada satu titik akhir. Dengan menggunakan pemanggilan langsung, Anda dapat mengirim permintaan ke wadah inferensi tertentu yang dihosting pada titik akhir multi-kontainer.

Untuk memanggil titik akhir multi-kontainer dengan pemanggilan langsung, panggil invoke_endpoint karena Anda akan memanggil titik akhir lainnya, dan tentukan wadah mana yang ingin Anda panggil dengan menggunakan parameter. TargetContainerHostname

Contoh berikut secara langsung memanggil titik akhir multi-kontainer untuk mendapatkan prediksi. secondContainer

import boto3
runtime_sm_client = boto3.Session().client('sagemaker-runtime')

response = runtime_sm_client.invoke_endpoint(
   EndpointName ='my-endpoint',
   ContentType = 'text/csv',
   TargetContainerHostname='secondContainer', 
   Body = body)

Untuk setiap permintaan pemanggilan langsung ke titik akhir multi-kontainer, hanya wadah yang TargetContainerHostname memproses permintaan pemanggilan. Anda akan mendapatkan kesalahan validasi jika Anda melakukan salah satu dari berikut:

  • Tentukan TargetContainerHostname yang tidak ada di titik akhir

  • Jangan tentukan nilai untuk TargetContainerHostname permintaan ke titik akhir yang dikonfigurasi untuk pemanggilan langsung

  • Tentukan nilai untuk TargetContainerHostname permintaan ke titik akhir yang tidak dikonfigurasi untuk pemanggilan langsung.