Cara membuat Endpoint Inferensi Asinkron - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cara membuat Endpoint Inferensi Asinkron

Buat titik akhir asinkron dengan cara yang sama seperti Anda membuat titik akhir menggunakan layanan hosting AI: SageMaker

  • Buat model di SageMaker AI denganCreateModel.

  • Buat konfigurasi titik akhir denganCreateEndpointConfig.

  • Buat titik akhir HTTPS denganCreateEndpoint.

Untuk membuat titik akhir, pertama-tama Anda membuat model dengan CreateModel, di mana Anda menunjuk ke artefak model dan jalur registri Docker (Gambar). Anda kemudian membuat konfigurasi menggunakan CreateEndpointConfigtempat Anda menentukan satu atau beberapa model yang dibuat menggunakan CreateModel API untuk diterapkan dan sumber daya yang ingin disediakan oleh SageMaker AI. Buat titik akhir Anda dengan CreateEndpointmenggunakan konfigurasi titik akhir yang ditentukan dalam permintaan. Anda dapat memperbarui titik akhir asinkron dengan API. UpdateEndpoint Kirim dan terima permintaan inferensi dari model yang dihosting di titik akhir dengan. InvokeEndpointAsync Anda dapat menghapus titik akhir Anda dengan DeleteEndpointAPI.

Untuk daftar lengkap Gambar yang tersedia, lihat SageMaker Gambar Deep Learning Containers yang Tersedia. Lihat Wadah dengan kode inferensi khusus untuk informasi tentang cara membuat gambar Docker Anda.

Topik