Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon SageMaker Inference Recommender dapat membuat dua jenis rekomendasi:
-
Rekomendasi inferensi (tipe
Defaultpekerjaan) menjalankan serangkaian tes beban pada jenis instance yang direkomendasikan. Anda juga dapat memuat pengujian untuk titik akhir tanpa server.. Anda hanya perlu menyediakan paket model Amazon Resource Name (ARN) untuk meluncurkan jenis pekerjaan rekomendasi ini. Pekerjaan rekomendasi inferensi selesai dalam waktu 45 menit. -
Rekomendasi titik akhir (tipe
Advancedpekerjaan) didasarkan pada uji beban khusus di mana Anda memilih instans ML yang diinginkan atau titik akhir tanpa server, menyediakan pola lalu lintas khusus, dan menyediakan persyaratan untuk latensi dan throughput berdasarkan persyaratan produksi Anda. Pekerjaan ini membutuhkan waktu rata-rata 2 jam untuk diselesaikan tergantung pada durasi pekerjaan yang ditetapkan dan jumlah total konfigurasi inferensi yang diuji.
Kedua jenis rekomendasi menggunakan hal yang sama APIs untuk membuat, mendeskripsikan, dan menghentikan pekerjaan. Outputnya adalah daftar rekomendasi konfigurasi instance dengan variabel lingkungan terkait, biaya, throughput, dan metrik latensi. Pekerjaan rekomendasi juga menyediakan jumlah instans awal, yang dapat Anda gunakan untuk mengonfigurasi kebijakan penskalaan otomatis. Untuk membedakan antara dua jenis pekerjaan, saat Anda membuat pekerjaan melalui konsol SageMaker AI atau APIs, tentukan Default untuk membuat rekomendasi titik akhir awal dan untuk pengujian beban khusus dan Advanced rekomendasi titik akhir.
catatan
Anda tidak perlu melakukan kedua jenis pekerjaan rekomendasi dalam alur kerja Anda sendiri. Anda dapat melakukan keduanya secara independen dari yang lain.
Inference Recommender juga dapat memberi Anda daftar instans prospektif, atau lima jenis instans teratas yang dioptimalkan untuk biaya, throughput, dan latensi untuk penerapan model, bersama dengan skor kepercayaan. Anda dapat memilih instance ini saat menerapkan model Anda. Inference Recommender secara otomatis melakukan benchmarking terhadap model Anda agar Anda dapat memberikan contoh prospektif. Karena ini adalah rekomendasi awal, kami sarankan Anda menjalankan pekerjaan rekomendasi contoh lebih lanjut untuk mendapatkan hasil yang lebih akurat. Untuk melihat instance prospektif, buka halaman detail model SageMaker AI Anda. Untuk informasi selengkapnya, lihat Dapatkan instans prospektif instan.
Topik
