Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemantauan kualitas data dan model dengan Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor memantau kualitas model pembelajaran SageMaker mesin Amazon dalam produksi. Dengan Model Monitor, Anda dapat mengatur:
-
Pemantauan berkelanjutan dengan titik akhir waktu nyata.
-
Pemantauan berkelanjutan dengan pekerjaan transformasi batch yang berjalan secara teratur.
-
Pemantauan sesuai jadwal untuk pekerjaan transformasi batch asinkron.
Dengan Model Monitor, Anda dapat mengatur peringatan yang memberi tahu Anda ketika ada penyimpangan dalam kualitas model. Deteksi dini dan proaktif dari penyimpangan ini memungkinkan Anda untuk mengambil tindakan korektif. Anda dapat mengambil tindakan seperti melatih ulang model, mengaudit sistem hulu, atau memperbaiki masalah kualitas tanpa harus memantau model secara manual atau membuat perkakas tambahan. Anda dapat menggunakan kemampuan pemantauan bawaan Model Monitor yang tidak memerlukan pengkodean. Anda juga memiliki fleksibilitas untuk memantau model dengan pengkodean untuk memberikan analisis khusus.
Model Monitor menyediakan jenis pemantauan berikut:
-
Kualitas data- Memantau penyimpangan dalam kualitas data.
-
Kualitas model- Memantau penyimpangan dalam metrik kualitas model, seperti akurasi.
-
Bias drift untuk model dalam produksi- Pantau bias dalam prediksi model Anda.
-
Penyimpangan atribusi fitur untuk model dalam produksi- Memantau penyimpangan dalam atribusi fitur.
Topik
- Memantau Model dalam Produksi
- Cara kerja Amazon SageMaker Model Monitor
- Pengambilan data
- Kualitas data
- Kualitas model
- Bias drift untuk model dalam produksi
- Penyimpangan atribusi fitur untuk model dalam produksi
- Jadwalkan pekerjaan pemantauan
- Amazon SageMaker Model Monitor wadah bawaan
- Menafsirkan hasil
- Visualisasikan hasil untuk titik akhir real-time di Amazon Studio SageMaker
- Topik lanjutan
- Model Monitor FAQs
Cara kerja Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor secara otomatis memonitor model machine learning (ML) dalam produksi dan memberi tahu Anda saat terjadi masalah kualitas. Model Monitor menggunakan aturan untuk mendeteksi penyimpangan dalam model Anda dan memberi tahu Anda ketika itu terjadi. Gambar berikut menunjukkan cara kerja proses ini jika model Anda diterapkan ke titik akhir waktu nyata.
Anda juga dapat menggunakan Model Monitor untuk memantau pekerjaan transformasi batch alih-alih titik akhir waktu nyata. Dalam hal ini, alih-alih menerima permintaan ke titik akhir dan melacak prediksi, Model Monitor memantau input dan output inferensi. Gambar berikut menggambarkan proses pemantauan pekerjaan transformasi batch.
Untuk mengaktifkan pemantauan model, lakukan langkah-langkah berikut. Langkah-langkah ini mengikuti jalur data melalui berbagai proses pengumpulan, pemantauan, dan analisis data.
-
Untuk titik akhir real-time, aktifkan titik akhir untuk menangkap data dari permintaan yang masuk ke model ML terlatih dan prediksi model yang dihasilkan.
-
Untuk pekerjaan transformasi batch, aktifkan pengambilan data dari input dan output transformasi batch.
-
Buat baseline dari dataset yang digunakan untuk melatih model. Garis dasar menghitung metrik dan menyarankan batasan untuk metrik. Prediksi real-time atau batch dari model Anda dibandingkan dengan kendala. Mereka dilaporkan sebagai pelanggaran jika mereka berada di luar nilai yang dibatasi.
-
Buat jadwal pemantauan yang menentukan data apa yang akan dikumpulkan, seberapa sering mengumpulkannya, bagaimana menganalisisnya, dan laporan mana yang akan dihasilkan.
-
Periksa laporan, yang membandingkan data terbaru dengan baseline. Perhatikan setiap pelanggaran yang dilaporkan, metrik, dan pemberitahuan dari Amazon CloudWatch.
Catatan
-
Model Monitor menghitung metrik model dan statistik hanya pada data tabular. Misalnya, model klasifikasi gambar yang mengambil gambar sebagai input dan mengeluarkan label berdasarkan gambar itu masih dapat dipantau. Model Monitor akan dapat menghitung metrik dan statistik untuk output, bukan input.
-
Model Monitor saat ini hanya mendukung titik akhir yang menampung satu model dan tidak mendukung pemantauan titik akhir multi-model. Untuk informasi tentang penggunaan titik akhir multi-model, lihat. Titik akhir multi-model
-
Model Monitor mendukung pemantauan pipa inferensi. Namun, menangkap dan menganalisis data dilakukan untuk seluruh pipa, bukan untuk kontainer individu dalam pipa.
-
Untuk mencegah dampak pada permintaan inferensi, Data Capture berhenti menangkap permintaan pada tingkat penggunaan disk yang tinggi. Kami menyarankan agar Anda menjaga penggunaan disk Anda di bawah 75% untuk memastikan pengambilan data terus menangkap permintaan.
-
Jika Anda meluncurkan SageMaker Studio di Amazon khususVPC, Anda harus membuat VPC titik akhir agar Model Monitor berkomunikasi dengan Amazon CloudWatch S3 dan. Untuk informasi tentang VPC titik akhir, lihat VPCtitik akhir di Panduan Pengguna Amazon Virtual Private Cloud. Untuk informasi tentang meluncurkan SageMaker Studio dalam kustomVPC, lihatHubungkan notebook Studio di sumber daya eksternal VPC ke sumber daya eksternal.
Model Monitor contoh notebook
Untuk contoh buku catatan yang membawa Anda melalui end-to-end alur kerja menggunakan Model Monitor dengan titik akhir real-time, lihat Pengantar Monitor SageMaker Model Amazon
Untuk petunjuk tentang cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh, lihat. SageMaker Instans SageMaker Notebook Amazon Setelah Anda membuat instance notebook dan membukanya, pilih tab SageMaker Contoh untuk melihat daftar semua SageMaker sampel. Untuk membuka buku catatan, pilih tab Gunakan buku catatan dan pilih Buat salinan.
