Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon SageMaker Model Monitor memantau kualitas model pembelajaran mesin Amazon SageMaker AI dalam produksi. Dengan Model Monitor, Anda dapat mengatur:
-
Pemantauan berkelanjutan dengan titik akhir waktu nyata.
-
Pemantauan berkelanjutan dengan pekerjaan transformasi batch yang berjalan secara teratur.
-
Pemantauan sesuai jadwal untuk pekerjaan transformasi batch asinkron.
Dengan Model Monitor, Anda dapat mengatur peringatan yang memberi tahu Anda ketika ada penyimpangan dalam kualitas model. Deteksi dini dan proaktif dari penyimpangan ini memungkinkan Anda untuk mengambil tindakan korektif. Anda dapat mengambil tindakan seperti melatih ulang model, mengaudit sistem hulu, atau memperbaiki masalah kualitas tanpa harus memantau model secara manual atau membuat perkakas tambahan. Anda dapat menggunakan kemampuan pemantauan bawaan Model Monitor yang tidak memerlukan pengkodean. Anda juga memiliki fleksibilitas untuk memantau model dengan pengkodean untuk memberikan analisis khusus.
Model Monitor menyediakan jenis pemantauan berikut:
-
Kualitas data- Memantau penyimpangan dalam kualitas data.
-
Kualitas model- Memantau penyimpangan dalam metrik kualitas model, seperti akurasi.
-
Bias drift untuk model dalam produksi- Pantau bias dalam prediksi model Anda.
-
Penyimpangan atribusi fitur untuk model dalam produksi- Memantau penyimpangan dalam atribusi fitur.
Cara kerja Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor secara otomatis memonitor model machine learning (ML) dalam produksi dan memberi tahu Anda saat terjadi masalah kualitas. Model Monitor menggunakan aturan untuk mendeteksi penyimpangan dalam model Anda dan memberi tahu Anda ketika itu terjadi. Gambar berikut menunjukkan cara kerja proses ini jika model Anda diterapkan ke titik akhir waktu nyata.
Anda juga dapat menggunakan Model Monitor untuk memantau pekerjaan transformasi batch alih-alih titik akhir waktu nyata. Dalam hal ini, alih-alih menerima permintaan ke titik akhir dan melacak prediksi, Model Monitor memantau input dan output inferensi. Gambar berikut menggambarkan proses pemantauan pekerjaan transformasi batch.
Untuk mengaktifkan pemantauan model, lakukan langkah-langkah berikut. Langkah-langkah ini mengikuti jalur data melalui berbagai proses pengumpulan, pemantauan, dan analisis data.
-
Untuk titik akhir real-time, aktifkan titik akhir untuk menangkap data dari permintaan yang masuk ke model ML terlatih dan prediksi model yang dihasilkan.
-
Untuk pekerjaan transformasi batch, aktifkan pengambilan data dari input dan output transformasi batch.
-
Buat baseline dari dataset yang digunakan untuk melatih model. Garis dasar menghitung metrik dan menyarankan batasan untuk metrik. Prediksi real-time atau batch dari model Anda dibandingkan dengan kendala. Mereka dilaporkan sebagai pelanggaran jika mereka berada di luar nilai yang dibatasi.
-
Buat jadwal pemantauan yang menentukan data apa yang akan dikumpulkan, seberapa sering mengumpulkannya, bagaimana menganalisisnya, dan laporan mana yang akan dihasilkan.
-
Periksa laporan, yang membandingkan data terbaru dengan baseline. Perhatikan setiap pelanggaran yang dilaporkan, metrik, dan pemberitahuan dari Amazon CloudWatch.
Catatan
-
Model Monitor menghitung metrik model dan statistik hanya pada data tabular. Misalnya, model klasifikasi gambar yang mengambil gambar sebagai input dan mengeluarkan label berdasarkan gambar itu masih dapat dipantau. Model Monitor akan dapat menghitung metrik dan statistik untuk output, bukan input.
-
Model Monitor saat ini hanya mendukung titik akhir yang menampung satu model dan tidak mendukung pemantauan titik akhir multi-model. Untuk informasi tentang penggunaan titik akhir multi-model, lihat. Titik akhir multi-model
-
Model Monitor mendukung pemantauan saluran inferensi. Namun, menangkap dan menganalisis data dilakukan untuk seluruh pipa, bukan untuk kontainer individu dalam pipa.
-
Untuk mencegah dampak pada permintaan inferensi, Data Capture berhenti menangkap permintaan pada tingkat penggunaan disk yang tinggi. Kami menyarankan agar Anda menjaga penggunaan disk Anda di bawah 75% untuk memastikan pengambilan data terus menangkap permintaan.
-
Jika Anda meluncurkan SageMaker Studio di VPC Amazon khusus, Anda harus membuat titik akhir VPC agar Model Monitor dapat berkomunikasi dengan Amazon S3 dan. CloudWatch Untuk informasi tentang titik akhir VPC, lihat titik akhir VPC di Panduan Pengguna Amazon Virtual Private Cloud. Untuk informasi tentang meluncurkan SageMaker Studio di VPC kustom, lihat. Hubungkan notebook Studio di VPC ke sumber daya eksternal
Model Monitor contoh notebook
Untuk contoh buku catatan yang membawa Anda melalui end-to-end alur kerja menggunakan Model Monitor dengan titik akhir real-time, lihat Pengantar Monitor SageMaker Model Amazon
Untuk petunjuk tentang cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh di SageMaker AI, lihat. Instans SageMaker Notebook Amazon Setelah Anda membuat instance notebook dan membukanya, pilih tab Contoh SageMaker AI untuk melihat daftar semua sampel SageMaker AI. Untuk membuka buku catatan, pilih tab Gunakan buku catatan dan pilih Buat salinan.
