Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dasbor SageMaker Model Amazon
Dasbor SageMaker Model Amazon adalah portal terpusat, dapat diakses dari SageMaker konsol, tempat Anda dapat melihat, mencari, dan menjelajahi semua model di akun Anda. Anda dapat melacak model mana yang digunakan untuk inferensi dan apakah model tersebut digunakan dalam pekerjaan transformasi batch atau di-host di titik akhir. Jika Anda mengatur monitor dengan Amazon SageMaker Model Monitor, Anda juga dapat melacak kinerja model Anda saat mereka membuat prediksi real-time pada data langsung. Anda dapat menggunakan dasbor untuk menemukan model yang melanggar ambang batas yang Anda tetapkan untuk kualitas data, kualitas model, bias, dan kemampuan penjelasan. Presentasi komprehensif dasbor dari semua hasil monitor Anda membantu Anda dengan cepat mengidentifikasi model yang tidak memiliki metrik ini dikonfigurasi.
Dasbor Model mengumpulkan informasi terkait model dari beberapa fitur. SageMaker Selain layanan yang disediakan di Model Monitor, Anda dapat melihat kartu model, memvisualisasikan garis keturunan alur kerja, dan melacak kinerja titik akhir Anda. Anda tidak perlu lagi memilah-milah log, kueri di buku catatan, atau mengakses AWS layanan lain untuk mengumpulkan data yang Anda butuhkan. Dengan pengalaman pengguna yang kohesif dan integrasi ke dalam layanan yang ada, SageMaker Dasbor Model menyediakan solusi tata kelola out-of-the-box model untuk membantu Anda memastikan cakupan kualitas di semua model Anda.
Prasyarat
Untuk menggunakan Dasbor Model, Anda harus memiliki satu atau lebih model di akun Anda. Anda dapat melatih model menggunakan Amazon SageMaker atau mengimpor model yang telah Anda latih di tempat lain. Untuk membuat model di SageMaker, Anda dapat menggunakan CreateModelAPI. Untuk informasi lebih lanjut, lihat CreateModel. Anda juga dapat menggunakan lingkungan SageMaker ML-disediakan, seperti Amazon SageMaker Studio Classic, yang menyediakan templat proyek yang menyiapkan pelatihan model dan penerapan untuk Anda. Untuk informasi tentang cara memulai Studio Classic, lihat Amazon SageMaker Studio Classic.
Meskipun ini bukan prasyarat wajib, pelanggan mendapatkan nilai maksimal dari dasbor jika mereka menyiapkan pekerjaan pemantauan model menggunakan SageMaker Model Monitor untuk model yang digunakan ke titik akhir. Untuk prasyarat dan petunjuk tentang cara menggunakan SageMaker Model Monitor, lihat. Pemantauan kualitas data dan model dengan Amazon SageMaker Model Monitor
Elemen Model Dashboard
Tampilan Dasbor Model mengekstrak detail tingkat tinggi dari setiap model untuk memberikan ringkasan komprehensif dari setiap model di akun Anda. Jika model Anda digunakan untuk inferensi, dasbor membantu Anda melacak kinerja model dan titik akhir Anda secara real time.
Detail penting untuk disorot di halaman ini meliputi:
-
Peringkat risiko: Parameter yang ditentukan pengguna dari kartu model dengan nilai rendah, sedang, atau tinggi. Peringkat risiko kartu model adalah ukuran kategoris dari dampak bisnis dari prediksi model. Model digunakan untuk berbagai aplikasi bisnis, yang masing-masing mengasumsikan tingkat risiko yang berbeda. Misalnya, salah mendeteksi serangan cyber memiliki dampak bisnis yang jauh lebih besar daripada salah mengkategorikan email. Jika Anda tidak tahu risiko model, Anda dapat mengaturnya ke tidak diketahui. Untuk informasi tentang Kartu SageMaker Model Amazon, lihat Kartu Model.
-
Peringatan Model Monitor: Peringatan Model Monitor adalah fokus utama Dasbor Model, dan meninjau dokumentasi yang ada pada berbagai monitor yang disediakan oleh SageMaker adalah cara yang membantu untuk memulai. Untuk penjelasan mendalam tentang fitur SageMaker Model Monitor dan contoh notebook, lihat. Pemantauan kualitas data dan model dengan Amazon SageMaker Model Monitor
Dasbor Model menampilkan nilai status Monitor Model berdasarkan jenis monitor berikut:
-
Kualitas Data: Membandingkan data langsung dengan data pelatihan. Jika mereka menyimpang, kesimpulan model Anda mungkin tidak lagi akurat. Untuk detail tambahan tentang monitor Kualitas Data, lihatKualitas data.
-
Kualitas Model: Membandingkan prediksi yang dibuat model dengan label Ground Truth aktual yang coba diprediksi oleh model. Untuk detail tambahan tentang monitor Kualitas Model, lihatKualitas model.
-
Bias Drift: Membandingkan distribusi data langsung dengan data pelatihan, yang juga dapat menyebabkan prediksi yang tidak akurat. Untuk detail tambahan tentang monitor Bias Drift, lihatBias drift untuk model dalam produksi.
-
Feature Attribution Drift: Juga dikenal sebagai penyimpangan penjelasan. Membandingkan peringkat relatif fitur Anda dalam data pelatihan versus data langsung, yang juga bisa menjadi hasil dari penyimpangan bias. Untuk detail tambahan tentang monitor Feature Attribution Drift, lihat. Penyimpangan atribusi fitur untuk model dalam produksi
Setiap status Model Monitor adalah salah satu dari nilai-nilai berikut:
-
Tidak ada: Tidak ada monitor yang dijadwalkan
-
Tidak aktif: Monitor dijadwalkan, tetapi dinonaktifkan
-
OK: Monitor dijadwalkan dan aktif, dan belum menemukan jumlah pelanggaran yang diperlukan dalam eksekusi monitor model terbaru untuk meningkatkan peringatan
-
Waktu dan tanggal: Monitor aktif memunculkan peringatan pada waktu dan tanggal yang ditentukan
-
-
Titik akhir: Titik akhir yang menjadi tuan rumah model Anda untuk inferensi waktu nyata. Dalam Dasbor Model, Anda dapat memilih kolom titik akhir untuk melihat metrik kinerja sepertiCPU,, diskGPU, dan pemanfaatan memori titik akhir Anda secara real time untuk membantu Anda melacak kinerja instans komputasi Anda.
-
Pekerjaan transformasi Batch: Pekerjaan transformasi batch terbaru yang dijalankan menggunakan model ini. Kolom ini membantu Anda menentukan apakah model digunakan secara aktif untuk inferensi batch.
-
Detail model: Setiap entri di dasbor menautkan ke halaman detail model tempat Anda dapat menyelam lebih dalam ke model individual. Anda dapat mengakses grafik garis keturunan model, yang memvisualisasikan alur kerja dari persiapan data hingga penerapan, dan metadata untuk setiap langkah. Anda juga dapat membuat dan melihat kartu model, meninjau detail dan riwayat peringatan, menilai kinerja titik akhir waktu nyata Anda, dan mengakses detail terkait infrastruktur lainnya.
