Kami tidak lagi memperbarui layanan Amazon Machine Learning atau menerima pengguna baru untuk itu. Dokumentasi ini tersedia untuk pengguna yang sudah ada, tetapi kami tidak lagi memperbaruinya. Untuk informasi selengkapnya, lihatApa itu Amazon Machine Learning.
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengevaluasi Model ML
Anda harus selalumengevaluasi modeluntuk menentukan apakah itu akan melakukan pekerjaan yang baik memprediksi target pada data baru dan masa depan. Karena instance di masa mendatang memiliki nilai target yang tidak diketahui, Anda perlu memeriksa metrik akurasi model ML-pada data yang sudah Anda ketahui jawaban target, dan menggunakan penilaian ini sebagai proxy untuk akurasi prediktif pada data di masa mendatang.
Untuk mengevaluasi model dengan benar, Anda memegang sampel data yang telah diberi label dengan target (ground truth) dari sumber data pelatihan. Mengevaluasi keakuratan prediktif model L dengan data yang sama yang digunakan untuk pelatihan tidak berguna, karena memberikan penghargaan kepada model yang dapat “mengingat” data pelatihan, yang bertentangan dengan generalisasi darinya. Setelah Anda selesai melatih model MLnya, Anda mengirimkan model pengamatan yang dapat Anda ketahui nilai target. Anda kemudian membandingkan prediksi yang dikembalikan oleh model ML-nya dengan nilai target yang diketahui. Akhirnya, Anda menghitung metrik ringkasan yang memberi tahu Anda seberapa baik nilai yang diprediksi dan benar cocok.
Di Amazon IL, Anda mengevaluasi model ML-nyamenciptakan evaluasi. Untuk membuat evaluasi untuk model ML, Anda memerlukan model ML-yang ingin Anda evaluasi, dan Anda memerlukan data berlabel yang tidak digunakan untuk pelatihan. Pertama, buat sumber data untuk evaluasi dengan membuat sumber data Amazon MLdengan data yang diada-out. Data yang digunakan dalam evaluasi harus memiliki skema yang sama dengan data yang digunakan dalam pelatihan dan mencakup nilai aktual untuk variabel target.
Jika semua data Anda ada dalam satu file atau direktori, Anda dapat menggunakan konsol Amazon XML untuk membagi data. Jalur default dalam wizard model Create MLmembagi sumber data input dan menggunakan 70% pertama untuk sumber data pelatihan dan 30% sisanya untuk sumber data evaluasi. Anda juga dapat menyesuaikan rasio split dengan menggunakanKhususpilihan di wizard model Create ML, di mana Anda dapat memilih untuk memilih sampel 70% acak untuk pelatihan dan menggunakan 30% sisanya untuk evaluasi. Untuk lebih menentukan rasio split kustom, gunakan string penataan ulang data diBuat Sumber DataAPI Setelah Anda memiliki sumber data evaluasi dan model ML, Anda dapat membuat evaluasi dan meninjau hasil evaluasi.
Topik
Mencegah Overfitting
Saat membuat dan melatih model MLnya, tujuannya adalah memilih model yang membuat prediksi terbaik, yang berarti memilih model dengan pengaturan terbaik (pengaturan model mL atau hyperparameters). Di Amazon Machine Learning, ada empat hyperparameter yang dapat Anda tetapkan: jumlah pass, regularisasi, ukuran model, dan tipe shuffle. Namun, jika Anda memilih pengaturan parameter model yang menghasilkan kinerja prediktif “terbaik” pada data evaluasi, Anda mungkin overfit model Anda. Overfitting terjadi ketika model telah menghafal pola yang terjadi dalam pelatihan dan evaluasi sumber data, tetapi telah gagal untuk menggeneralisasi pola dalam data. Hal ini sering terjadi ketika data pelatihan mencakup semua data yang digunakan dalam evaluasi. Model overfitted tidak baik selama evaluasi, tetapi gagal untuk membuat prediksi akurat pada data tak terlihat.
Untuk menghindari memilih model overfitted sebagai model terbaik, Anda dapat memesan data tambahan untuk memvalidasi kinerja model ML-nya. Misalnya, Anda dapat membagi data Anda menjadi 60 persen untuk pelatihan, 20 persen untuk evaluasi, dan tambahan 20 persen untuk validasi. Setelah memilih parameter model yang bekerja dengan baik untuk data evaluasi, Anda menjalankan evaluasi kedua dengan data validasi untuk melihat seberapa baik model ML-kinerja pada data validasi. Jika model memenuhi harapan Anda pada data validasi, maka model tidak overfitting data.
Menggunakan set ketiga data untuk validasi membantu Anda memilih parameter model ML-yang sesuai untuk mencegah overfitting. Namun, menyimpan data dari proses pelatihan untuk evaluasi dan validasi membuat lebih sedikit data yang tersedia untuk pelatihan. Hal ini terutama masalah dengan set data kecil karena selalu terbaik untuk menggunakan data sebanyak mungkin untuk pelatihan. Untuk mengatasi masalah ini, Anda dapat melakukan cross-validasi. Untuk informasi tentang validasi silang, lihatLintas Validasi.
