Menjalankan model Label Kustom Rekognition Amazon yang terlatih - Rekognition
Unit inferensiZona Ketersediaan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menjalankan model Label Kustom Rekognition Amazon yang terlatih

Ketika Anda puas dengan kinerja model, Anda dapat mulai menggunakannya. Anda dapat memulai dan menghentikan model dengan menggunakan konsol atau AWS SDK. Konsol juga menyertakan contoh operasi SDK yang dapat Anda gunakan.

Topik

Unit inferensi

Saat memulai model, Anda menentukan jumlah sumber daya komputasi, yang dikenal sebagai unit inferensi, yang digunakan model.

penting

Anda dikenakan biaya untuk jumlah jam yang dijalankan model Anda dan untuk jumlah unit inferensi yang digunakan model Anda saat berjalan, berdasarkan cara Anda mengonfigurasi pengoperasian model Anda. Misalnya, jika Anda memulai model dengan dua unit inferensi dan menggunakan model selama 8 jam, Anda akan dikenakan biaya selama 16 jam inferensi (8 jam waktu berjalan * dua unit inferensi). Untuk informasi lebih lanjut, lihat Jam inferensi. Jika Anda tidak secara eksplisit menghentikan model Anda, Anda dikenakan biaya bahkan jika Anda tidak secara aktif menganalisis gambar dengan model Anda.

Transaksi per detik (TPS) yang didukung oleh unit inferensi tunggal dipengaruhi oleh hal-hal berikut.

  • Model yang mendeteksi label tingkat gambar (klasifikasi) umumnya memiliki TPS yang lebih tinggi daripada model yang mendeteksi dan melokalisasi objek dengan kotak pembatas (deteksi objek).

  • Kompleksitas model.

  • Gambar beresolusi lebih tinggi membutuhkan lebih banyak waktu untuk analisis.

  • Lebih banyak objek dalam gambar membutuhkan lebih banyak waktu untuk analisis.

  • Gambar yang lebih kecil dianalisis lebih cepat daripada gambar yang lebih besar.

  • Gambar yang diteruskan sebagai byte gambar dianalisis lebih cepat daripada pertama kali mengunggah gambar ke bucket Amazon S3 dan kemudian merujuk gambar yang diunggah. Gambar yang diteruskan sebagai byte gambar harus lebih kecil dari 4,0 MB. Kami menyarankan Anda menggunakan byte gambar untuk pemrosesan gambar secara real time dan ketika ukuran gambar kurang dari 4,0 MB. Misalnya, gambar yang diambil dari kamera IP.

  • Memproses gambar yang disimpan dalam bucket Amazon S3 lebih cepat daripada mengunduh gambar, mengonversi ke byte gambar, dan kemudian meneruskan byte gambar untuk dianalisis.

  • Menganalisis gambar yang sudah disimpan dalam bucket Amazon S3 mungkin lebih cepat daripada menganalisis gambar yang sama yang diteruskan sebagai byte gambar. Itu terutama benar jika ukuran gambar lebih besar.

Jika jumlah panggilan DetectCustomLabels melebihi TPS maksimum yang didukung oleh jumlah unit inferensi yang digunakan model, Amazon Rekognition Custom Labels mengembalikan pengecualian. ProvisionedThroughputExceededException

Mengelola throughput dengan unit inferensi

Anda dapat menambah atau mengurangi throughput model Anda tergantung pada permintaan pada aplikasi Anda. Untuk meningkatkan throughput, gunakan unit inferensi tambahan. Setiap unit inferensi tambahan meningkatkan kecepatan pemrosesan Anda dengan satu unit inferensi. Untuk informasi tentang menghitung jumlah unit inferensi yang Anda butuhkan, lihat Menghitung unit inferensi untuk Label Kustom Amazon Rekognition dan Amazon Lookout for Vision model. Jika Anda ingin mengubah throughput model yang didukung, Anda memiliki dua opsi:

Menambahkan atau menghapus unit inferensi secara manual

Hentikan model dan kemudian restart dengan jumlah unit inferensi yang diperlukan. Kerugian dengan pendekatan ini adalah model tidak dapat menerima permintaan saat memulai ulang dan tidak dapat digunakan untuk menangani lonjakan permintaan. Gunakan pendekatan ini jika model Anda memiliki throughput yang stabil dan kasus penggunaan Anda dapat mentolerir waktu henti 10-20 menit. Contohnya adalah jika Anda ingin melakukan batch panggilan ke model Anda menggunakan jadwal mingguan.

Unit inferensi skala otomatis

Jika model Anda harus mengakomodasi lonjakan permintaan, Label Kustom Rekognition Amazon dapat secara otomatis menskalakan jumlah unit inferensi yang digunakan model Anda. Seiring meningkatnya permintaan, Amazon Rekognition Custom Labels menambahkan unit inferensi tambahan ke model dan menghapusnya saat permintaan menurun.

Untuk memungkinkan Amazon Rekognition Custom Labels secara otomatis menskalakan unit inferensi untuk model, mulai model dan atur jumlah maksimum unit inferensi yang dapat digunakan dengan menggunakan parameter. MaxInferenceUnits Menetapkan jumlah maksimum unit inferensi memungkinkan Anda mengelola biaya menjalankan model dengan membatasi jumlah unit inferensi yang tersedia untuknya. Jika Anda tidak menentukan jumlah unit maksimum, Label Kustom Rekognition Amazon tidak akan secara otomatis menskalakan model Anda, hanya menggunakan jumlah unit inferensi yang Anda mulai. Untuk informasi mengenai jumlah maksimum unit inferensi, lihat Service Quotas.

Anda juga dapat menentukan jumlah minimum unit inferensi dengan menggunakan MinInferenceUnits parameter. Ini memungkinkan Anda menentukan throughput minimum untuk model Anda, di mana satu unit inferensi mewakili 1 jam waktu pemrosesan.

catatan

Anda tidak dapat menyetel jumlah maksimum unit inferensi dengan konsol Amazon Rekognition Custom Labels. Sebagai gantinya, tentukan parameter MaxInferenceUnits input ke StartProjectVersion operasi.

Label Kustom Rekognition Amazon menyediakan metrik Log CloudWatch Amazon berikut yang dapat Anda gunakan untuk menentukan status penskalaan otomatis saat ini untuk model.

Metrik Deskripsi

DesiredInferenceUnits

Jumlah unit inferensi yang meningkatkan atau menurunkan Label Kustom Rekognition Amazon.

InServiceInferenceUnits

Jumlah unit inferensi yang digunakan model.

Jika DesiredInferenceUnits =InServiceInferenceUnits, Amazon Rekognition Custom Labels saat ini tidak menskalakan jumlah unit inferensi.

Jika DesiredInferenceUnits >InServiceInferenceUnits, Amazon Rekognition Custom Labels ditingkatkan hingga nilai. DesiredInferenceUnits

Jika DesiredInferenceUnits <InServiceInferenceUnits, Amazon Rekognition Custom Labels memperkecil ke nilai. DesiredInferenceUnits

Untuk informasi selengkapnya mengenai metrik yang ditampilkan oleh Label Kustom Amazon Rekognition dan dimensi pemfilteran, CloudWatch lihat metrik untuk Rekognition.

Untuk mengetahui jumlah maksimum unit inferensi yang Anda minta untuk model, panggil DescribeProjectsVersion dan periksa MaxInferenceUnits bidang dalam respons. Untuk kode sampel, lihat Menjelaskan model (SDK).

Zona Ketersediaan

Amazon Rekognition Custom Labels mendistribusikan unit inferensi di beberapa Availability Zone dalam AWS suatu Wilayah untuk meningkatkan ketersediaan. Untuk informasi selengkapnya, lihat Availability Zone. Untuk membantu melindungi model produksi Anda dari pemadaman Availability Zone dan kegagalan unit inferensi, mulailah model produksi Anda dengan setidaknya dua unit inferensi.

Jika terjadi pemadaman Availability Zone, semua unit inferensi di Availability Zone tidak tersedia dan kapasitas model berkurang. Panggilan ke DetectCustomLabel didistribusikan ulang di seluruh unit inferensi yang tersisa. Panggilan tersebut berhasil jika tidak melebihi Transaksi Per Detik (TPS) yang didukung dari unit inferensi yang tersisa. Setelah AWS memperbaiki Availability Zone, unit inferensi dimulai ulang, dan kapasitas penuh dipulihkan.

Jika unit inferensi tunggal gagal, Label Kustom Rekognition Amazon secara otomatis memulai unit inferensi baru di Availability Zone yang sama. Kapasitas model dikurangi sampai unit inferensi baru dimulai.