Perbarui titik akhir yang menggunakan penskalaan otomatis - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perbarui titik akhir yang menggunakan penskalaan otomatis

Saat Anda memperbarui titik akhir, Application Auto Scaling memeriksa untuk melihat apakah salah satu model pada titik akhir tersebut adalah target untuk penskalaan otomatis. Jika pembaruan akan mengubah jenis instance untuk model apa pun yang menjadi target penskalaan otomatis, pembaruan gagal.

Di AWS Management Console, Anda melihat peringatan bahwa Anda harus membatalkan pendaftaran model dari penskalaan otomatis sebelum Anda dapat memperbaruinya. Jika Anda mencoba memperbarui titik akhir dengan memanggil UpdateEndpointAPI, panggilan gagal. Sebelum memperbarui titik akhir, hapus kebijakan penskalaan apa pun yang dikonfigurasi untuknya dan deregister varian sebagai target yang dapat diskalakan dengan memanggil tindakan Application Auto Scaling. DeregisterScalableTargetAPI Setelah memperbarui titik akhir, Anda dapat mendaftarkan varian yang diperbarui sebagai target yang dapat diskalakan dan melampirkan kebijakan penskalaan.

Ada satu pengecualian. Jika Anda mengubah model untuk varian yang dikonfigurasi untuk penskalaan otomatis, penskalaan SageMaker otomatis Amazon memungkinkan pembaruan. Ini karena mengubah model biasanya tidak cukup memengaruhi kinerja untuk mengubah perilaku penskalaan. Jika Anda memperbarui model untuk varian yang dikonfigurasi untuk penskalaan otomatis, pastikan bahwa perubahan pada model tidak memengaruhi kinerja dan perilaku penskalaan secara signifikan.

Saat Anda memperbarui SageMaker titik akhir yang menerapkan penskalaan otomatis, selesaikan langkah-langkah berikut:

Untuk memperbarui titik akhir yang menerapkan penskalaan otomatis

  1. Deregister endpoint sebagai target yang dapat diskalakan dengan menelepon. DeregisterScalableTarget

  2. Karena penskalaan otomatis diblokir saat operasi pembaruan sedang berlangsung (atau jika Anda mematikan penskalaan otomatis pada langkah sebelumnya), Anda mungkin ingin mengambil tindakan pencegahan tambahan untuk meningkatkan jumlah instance untuk titik akhir Anda selama pembaruan. Untuk melakukan ini, perbarui jumlah instance untuk varian produksi yang dihosting di titik akhir dengan memanggil. UpdateEndpointWeightsAndCapacities

  3. Panggil DescribeEndpointberulang kali sampai nilai EndpointStatus bidang responsnyaInService.

  4. Panggil DescribeEndpointConfiguntuk mendapatkan nilai konfigurasi titik akhir saat ini.

  5. Buat konfigurasi titik akhir baru dengan menelepon. CreateEndpointConfig Untuk varian produksi tempat Anda ingin menyimpan jumlah atau bobot instans yang ada, gunakan nama varian yang sama dari respons dari panggilan ke DescribeEndpointConfiglangkah sebelumnya. Untuk semua nilai lainnya, gunakan nilai yang Anda dapatkan sebagai respons saat Anda menelepon DescribeEndpointConfigdi langkah sebelumnya.

  6. Perbarui titik akhir dengan menelepon UpdateEndpoint. Tentukan konfigurasi titik akhir yang Anda buat di langkah sebelumnya sebagai bidang. EndpointConfig Jika Anda ingin mempertahankan properti varian seperti hitungan instance atau bobot, tetapkan nilai RetainAllVariantProperties parameter keTrue. Ini menentukan bahwa varian produksi dengan nama yang sama akan diperbarui dengan yang terbaru DesiredInstanceCount dari respons dari panggilan keDescribeEndpoint, terlepas dari nilai InitialInstanceCount bidang di yang baruEndpointConfig.

  7. (Opsional) Aktifkan kembali penskalaan otomatis dengan menelepon RegisterScalableTargetdan. PutScalingPolicy

catatan

Langkah 1 dan 7 hanya diperlukan jika Anda memperbarui titik akhir dengan perubahan berikut:

  • Mengubah jenis instans untuk varian produksi yang memiliki penskalaan otomatis yang dikonfigurasi

  • Menghapus varian produksi yang memiliki penskalaan otomatis yang dikonfigurasi.