Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Host beberapa model yang menggunakan wadah berbeda di belakang satu titik akhir
SageMaker titik akhir multi-kontainer memungkinkan pelanggan untuk menerapkan beberapa kontainer, yang menggunakan model atau kerangka kerja yang berbeda, pada satu titik akhir. SageMaker Kontainer dapat dijalankan secara berurutan sebagai pipa inferensi, atau setiap kontainer dapat diakses secara individual dengan menggunakan pemanggilan langsung untuk meningkatkan pemanfaatan titik akhir dan mengoptimalkan biaya.
Untuk informasi tentang menjalankan kontainer di titik akhir multi-kontainer secara berurutan, lihat. Model host bersama dengan logika pra-pemrosesan sebagai pipa inferensi serial di belakang satu titik akhir
Untuk informasi tentang menjalankan kontainer tertentu di titik akhir multi-kontainer, lihat Gunakan titik akhir multi-kontainer dengan pemanggilan langsung
Topik
Buat titik akhir multi-kontainer (Boto 3)
Buat titik akhir Multi-kontainer dengan memanggil CreateModel, CreateEndpointConfig, dan CreateEndpointAPI seperti yang Anda lakukan untuk membuat titik akhir lainnya. Anda dapat menjalankan kontainer ini secara berurutan sebagai pipeline inferensi, atau menjalankan setiap kontainer individu dengan menggunakan pemanggilan langsung. Titik akhir multi-kontainer memiliki persyaratan berikut saat Anda menelepon: create_model
-
Gunakan
Containers
parameter alih-alihPrimaryContainer
, dan sertakan lebih dari satu wadah dalamContainers
parameter. -
ContainerHostname
Parameter diperlukan untuk setiap kontainer di titik akhir multi-kontainer dengan pemanggilan langsung. -
Atur
Mode
parameterInferenceExecutionConfig
bidangDirect
untuk pemanggilan langsung dari setiap kontainer, atauSerial
gunakan kontainer sebagai pipa inferensi. Mode default adalahSerial
.
catatan
Saat ini ada batas hingga 15 kontainer yang didukung pada titik akhir multi-kontainer.
Contoh berikut membuat model multi-container untuk pemanggilan langsung.
-
Buat elemen wadah dan
InferenceExecutionConfig
dengan pemanggilan langsung.container1 = { 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag', 'ContainerHostname': 'firstContainer' } container2 = { 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag', 'ContainerHostname': 'secondContainer' } inferenceExecutionConfig = {'Mode': 'Direct'}
-
Buat model dengan elemen wadah dan atur
InferenceExecutionConfig
bidang.import boto3 sm_client = boto3.Session().client('sagemaker') response = sm_client.create_model( ModelName = 'my-direct-mode-model-name', InferenceExecutionConfig = inferenceExecutionConfig, ExecutionRoleArn = role, Containers = [container1, container2] )
Untuk membuat endoint, Anda kemudian akan memanggil create_endpoint_config dan create_endpoint
Memperbarui titik akhir multi-kontainer
Untuk memperbarui titik akhir multi-kontainer, selesaikan langkah-langkah berikut.
-
Panggil create_model
untuk membuat model baru dengan nilai baru untuk Mode
parameter di bidang.InferenceExecutionConfig
-
Panggil create_endpoint_config
untuk membuat konfigurasi titik akhir baru dengan nama yang berbeda dengan menggunakan model baru yang Anda buat pada langkah sebelumnya. -
Panggil update_endpoint
untuk memperbarui titik akhir dengan konfigurasi titik akhir baru yang Anda buat di langkah sebelumnya.
Hapus titik akhir multi-kontainer
Untuk menghapus titik akhir, panggil delete_endpointEndpointName