Mengevaluasi kinerja model yang dioptimalkan - Amazon SageMaker
Sebelum Anda mulaiBuat evaluasi kinerja

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengevaluasi kinerja model yang dioptimalkan

Setelah Anda menggunakan pekerjaan pengoptimalan untuk membuat model yang dioptimalkan, Anda dapat menjalankan evaluasi kinerja model. Evaluasi ini menghasilkan metrik untuk latensi, throughput, dan harga. Gunakan metrik ini untuk menentukan apakah model yang dioptimalkan memenuhi kebutuhan kasus penggunaan Anda atau apakah itu memerlukan pengoptimalan lebih lanjut.

Anda dapat menjalankan evaluasi kinerja hanya dengan menggunakan Studio. Fitur ini tidak disediakan melalui Amazon SageMaker API atau PythonSDK.

Sebelum Anda mulai

Sebelum Anda dapat membuat evaluasi kinerja, Anda harus terlebih dahulu mengoptimalkan model dengan membuat pekerjaan pengoptimalan inferensi. Di Studio, Anda hanya dapat mengevaluasi model yang Anda buat dengan pekerjaan ini.

Buat evaluasi kinerja

Selesaikan langkah-langkah berikut di Studio untuk membuat evaluasi kinerja untuk model yang dioptimalkan.

  1. Di menu navigasi Studio, di bawah Pekerjaan, pilih Optimasi inferensi.

  2. Pilih nama pekerjaan yang menciptakan model yang dioptimalkan yang ingin Anda evaluasi.

  3. Pada halaman detail pekerjaan, pilih Evaluasi kinerja.

  4. Pada halaman Evaluasi kinerja, beberapa JumpStart model mengharuskan Anda untuk menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau persyaratan lisensi di bagian Perjanjian Lisensi. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk Saya menerimaEULA, dan baca syarat dan ketentuan.

  5. Untuk Pilih model untuk tokenizer, terima default, atau pilih model tertentu untuk bertindak sebagai tokenizer untuk evaluasi Anda.

  6. Untuk kumpulan data Input, pilih apakah akan:

    • Gunakan kumpulan data sampel default dari. SageMaker

    • Berikan S3 URI yang menunjuk ke kumpulan data sampel Anda sendiri.

  7. Untuk S3 URI untuk hasil kinerja, berikan URI yang menunjuk ke lokasi di Amazon S3 tempat Anda ingin menyimpan hasil evaluasi.

  8. Pilih Evaluasi.

    Studio menunjukkan halaman evaluasi kinerja, di mana pekerjaan evaluasi Anda ditampilkan dalam tabel. Kolom Status menunjukkan status evaluasi Anda.

  9. Ketika status selesai, pilih nama pekerjaan untuk melihat hasil evaluasi.

Halaman detail evaluasi menampilkan tabel yang menyediakan metrik kinerja untuk latensi, throughput, dan harga. Untuk informasi lebih lanjut tentang setiap metrik, lihatReferensi metrik untuk evaluasi kinerja inferensi.