Meningkatkan model Amazon Lookout for Vision - Amazon Lookout for Vision
Langkah 1: Evaluasi performa model AndaLangkah 2: Meningkatkan model Anda

Pemberitahuan akhir dukungan: Pada 31 Oktober 2025, AWS akan menghentikan dukungan untuk Amazon Lookout for Vision. Setelah 31 Oktober 2025, Anda tidak akan lagi dapat mengakses konsol Lookout for Vision atau sumber daya Lookout for Vision. Untuk informasi lebih lanjut, kunjungi posting blog ini.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meningkatkan model Amazon Lookout for Vision

Selama latihan, Lookout for Vision menguji model Anda dengan set data pengujian dan menggunakan hasilnya untuk membuat metrik kinerja. Anda dapat menggunakan metrik kinerja untuk mengevaluasi performa model. Jika perlu, Anda dapat mengambil langkah-langkah untuk meningkatkan set data Anda dan kemudian melatih ulang model Anda.

Jika Anda puas dengan performa model Anda, Anda dapat mulai menggunakannya. Untuk informasi selengkapnya, lihat Menjalankan model Amazon Lookout for Vision Anda yang terlatih.

Topik

Langkah 1: Evaluasi performa model Anda

Anda dapat mengakses metrik kinerja dari konsol dan dari DescribeModeloperasi. Amazon Lookout for Vision menyediakan metrik kinerja ringkasan untuk kumpulan data pengujian dan hasil prediksi untuk semua gambar individual. Jika model Anda adalah model segmentasi, konsol juga menampilkan metrik ringkasan untuk setiap label anomali.

Untuk melihat metrik performa dan menguji prediksi gambar di konsol, lihatMelihat metrik kinerja (konsol). Untuk informasi tentang mengakses metrik kinerja dan prediksi gambar uji denganDescribeModel operasi, lihatMelihat metrik kinerja (SDK).

Metrik klasifikasi citra

Amazon Lookout for Vision menyediakan metrik ringkasan berikut untuk klasifikasi yang dibuat model selama pengujian:

Metrik model segmentasi gambar

Jika model adalah model segmentasi gambar, Amazon Lookout for Vision menyediakan metrik klasifikasi gambar ringkasan dan metrik kinerja ringkasan untuk setiap label anomali:

Presisi

Metrik presisi menjawab pertanyaan - Ketika model memprediksi bahwa gambar mengandung anomali, seberapa sering prediksi itu benar?

Presisi adalah metrik yang berguna untuk situasi di mana biaya positif palsu tinggi. Misalnya, biaya melepas bagian mesin yang tidak rusak dari mesin rakitan.

Amazon Lookout for Vision memberikan nilai metrik presisi ringkasan untuk seluruh kumpulan data pengujian.

Presisi adalah fraksi dari anomali yang diprediksi dengan benar (true positive) atas semua anomali yang diprediksi (true and false positive). Rumus untuk presisi adalah sebagai berikut.

Nilai presisi = benar positif/(benar positif+positif palsu)

Nilai yang mungkin untuk rentang presisi dari 0-1. Konsol Amazon Lookout for Vision menampilkan presisi sebagai nilai persentase (0-100).

Nilai presisi yang lebih tinggi menunjukkan bahwa lebih banyak anomali yang diprediksi benar. Misalnya, model Anda memprediksi bahwa 100 gambar itu anomali. Jika 85 prediksi benar (positif sejati) dan 15 salah (positif palsu), presisi dihitung sebagai berikut:

85 benar positif/ (85 benar positif+15 positif palsu) = 0,85 nilai presisi

Namun, jika model hanya memprediksi 40 gambar dengan benar dari 100 prediksi anomali, nilai presisi yang dihasilkan lebih rendah pada 0,40 (yaitu, 40/(40+ 60) = 0,40). Dalam hal ini, model Anda membuat prediksi yang lebih salah daripada prediksi yang benar. Untuk memperbaikinya, pertimbangkan untuk melakukan perbaikan pada model Anda. Untuk informasi selengkapnya, lihat Langkah 2: Meningkatkan model Anda.

Untuk informasi selengkapnya, lihat Precision dan recall.

Ingat

Metrik penarikan menjawab pertanyaan - Dari jumlah total gambar anomali dalam kumpulan data uji, berapa banyak yang diprediksi dengan benar sebagai anomali?

Metrik penarikan berguna untuk situasi di mana biaya negatif palsu tinggi. Misalnya, ketika biaya tidak menghapus bagian yang rusak tinggi. Amazon Lookout for Vision menyediakan nilai metrik penarikan ringkasan untuk seluruh kumpulan data pengujian.

Ingat adalah fraksi dari gambar uji anomali yang terdeteksi dengan benar. Ini adalah ukuran seberapa sering model dapat memprediksi gambar anomali dengan benar, ketika itu benar-benar ada dalam gambar set data pengujian Anda. Rumus untuk recall dihitung sebagai berikut:

Ingat nilai = benar positif/(benar positif+negatif palsu)

Rentang untuk penarikan adalah 0-1. Konsol Amazon Lookout for Vision menampilkan penarikan kembali sebagai nilai persentase (0-100).

Nilai penarikan yang lebih tinggi menunjukkan bahwa lebih banyak gambar anomali diidentifikasi dengan benar. Sebagai contoh, perhatikan kumpulan data uji berisi 100 citra anomali. Jika model mendeteksi 90 dari 100 gambar anomali dengan benar, maka ingatnya adalah sebagai berikut:

90 true positives/(90 benar positif+10 negatif palsu) = 0,90 nilai recall

Nilai penarikan 0,90 menunjukkan bahwa model Anda memprediksi dengan benar sebagian besar gambar anomali dalam kumpulan data pengujian. Jika model hanya memprediksi 20 gambar anomali dengan benar, penarikan kembali lebih rendah pada 0,20 (yaitu, 20/(20 + 80) = 0,20).

Dalam kasus ini, Anda harus mempertimbangkan untuk melakukan perbaikan pada model Anda. Untuk informasi selengkapnya, lihat Langkah 2: Meningkatkan model Anda.

Untuk informasi selengkapnya, lihat Precision dan recall.

Skor F1

Amazon Lookout for Vision memberikan skor kinerja model rata-rata untuk kumpulan data pengujian. Secara khusus, kinerja model untuk klasifikasi anomali diukur dengan metrik skor F1, yang merupakan mean harmonik dari skor presisi dan penarikan.

Skor F1 adalah ukuran agregat yang memperhitungkan presisi dan penarikan. Skor performa model adalah nilai antara 0 dan 1. Semakin tinggi nilainya, semakin baik performa model untuk penarikan dan presisi. Misalnya, untuk model dengan presisi 0,9 dan penarikan 1,0, skor F1 adalah 0,947.

Jika model tidak berkinerja baik, misalnya, dengan presisi rendah 0,30 dan penarikan tinggi 1,0, skor F1 adalah 0,46. Demikian pula, jika presisi tinggi (0,95) dan penarikan kembali rendah (0,20), skor F1 adalah 0,33. Dalam kedua kasus, skor F1 rendah, yang menunjukkan masalah dengan model.

Untuk informasi selengkapnya, lihat Skor F1.

Persimpangan Rata-rata di atas Union (IoU)

Persentase rata-rata tumpang tindih antara topeng anomali dalam gambar uji dan topeng anomali yang diprediksi model untuk gambar uji. Amazon Lookout for Vision mengembalikan IoU Rata-rata untuk setiap label anomali dan hanya dikembalikan oleh model segmentasi gambar.

Nilai persentase rendah menunjukkan bahwa model tidak secara akurat mencocokkan topeng yang diprediksi untuk label dengan topeng dalam gambar uji.

Gambar berikut memiliki IoU rendah. Masker oranye adalah prediksi dari model dan tidak menutupi topeng biru yang mewakili topeng dalam gambar uji.

Close-up of a car's front bumper with blue and pink paint marks, indicating damage.

Gambar berikut memiliki IoU yang lebih tinggi. Masker biru (gambar uji) tertutup rapat oleh topeng oranye (topeng yang diprediksi).

Close-up of a car's front section with purple paint scratches on the white body panel.

Hasil pengujian

Selama pengujian, model memprediksi klasifikasi untuk setiap gambar pengujian dalam set data pengujian. Hasil untuk setiap prediksi dibandingkan dengan label (normal atau anomali) dari gambar uji yang sesuai sebagai berikut:

  • Dengan benar memprediksi bahwa gambar itu anomali dianggap positif sejati.

  • Salah memprediksi bahwa gambar itu anomali dianggap positif palsu.

  • Memprediksi dengan benar bahwa gambar itu normal dianggap negatif sejati.

  • Salah memprediksi bahwa gambar normal dianggap negatif palsu.

Jika modelnya adalah model segmentasi, model tersebut juga memprediksi topeng dan label anomali untuk lokasi anomali pada gambar uji.

Amazon Lookout for Vision menggunakan hasil perbandingan untuk menghasilkan metrik kinerja.

Langkah 2: Meningkatkan model Anda

Metrik kinerja mungkin menunjukkan bahwa Anda dapat meningkatkan model Anda. Misalnya, jika model tidak mendeteksi semua anomali dalam kumpulan data pengujian, model Anda memiliki daya ingat rendah (yaitu, metrik penarikan memiliki nilai rendah). Untuk memperbaiki model Anda, pertimbangkan hal berikut:

  • Periksa apakah gambar set data pelatihan dan pengujian diberi label dengan benar.

  • Kurangi variabilitas kondisi pengambilan gambar seperti pencahayaan dan pose objek, dan latih model Anda pada objek dengan jenis yang sama.

  • Pastikan bahwa gambar Anda hanya menampilkan konten yang diperlukan. Misalnya, jika proyek Anda mendeteksi anomali di bagian mesin, pastikan tidak ada objek lain dalam gambar Anda.

  • Tambahkan lebih banyak gambar berlabel ke set data kereta dan uji Anda. Jika kumpulan data pengujian Anda memiliki penarikan dan presisi yang sangat baik tetapi model berkinerja buruk saat diterapkan, kumpulan data pengujian Anda mungkin tidak cukup representatif dan Anda perlu memperpanjangnya.

  • Jika kumpulan data pengujian Anda menghasilkan penarikan dan presisi yang buruk, pertimbangkan seberapa baik anomali dan kondisi pengambilan gambar dalam kumpulan data pelatihan dan pengujian cocok. Jika gambar latihan Anda tidak mewakili anomali dan kondisi yang diharapkan, tetapi gambar dalam gambar pengujian, tambahkan gambar ke set data pelatihan pelatihan dengan anomali dan kondisi yang diharapkan. Jika gambar set data pengujian tidak dalam kondisi yang diharapkan, tetapi gambar latihannya, perbarui set data pengujian.

    Untuk informasi selengkapnya, lihat Menambahkan lebih banyak gambar. Cara alternatif untuk menambahkan gambar berlabel ke set data latihan Anda adalah dengan menjalankan tugas deteksi uji coba dan memverifikasi hasilnya. Anda kemudian dapat menambahkan gambar terverifikasi ke set data pelatihan. Untuk informasi selengkapnya, lihat Memverifikasi model Anda dengan tugas deteksi uji coba.

  • Pastikan Anda memiliki gambar normal dan anomali yang cukup beragam dalam kumpulan data pelatihan dan pengujian Anda. Gambar harus mewakili jenis gambar normal dan anomali yang akan ditemui model Anda. Misalnya, saat menganalisis papan sirkuit, gambar normal Anda harus mewakili variasi posisi dan penyolderan komponen, seperti resistor dan transistor. Gambar anomali harus mewakili berbagai jenis anomali yang mungkin ditemui sistem, seperti komponen yang salah tempat atau hilang.

  • Jika model Anda memiliki IoU Rata-rata rendah untuk jenis anomali yang terdeteksi, periksa output topeng dari model segmentasi. Untuk beberapa kasus penggunaan, seperti goresan, model mungkin mengeluarkan goresan yang sangat dekat dengan goresan groundtruth pada gambar uji, tetapi dengan tumpang tindih piksel rendah. Misalnya, dua garis parallel yang berjarak 1 piksel. Dalam kasus tersebut, Rata-rata IOU adalah indikator yang tidak dapat diandalkan untuk mengukur keberhasilan prediksi.

  • Jika ukuran gambar kecil, atau resolusi gambar rendah, pertimbangkan untuk menangkap gambar pada resolusi yang lebih tinggi. Dimensi gambar dapat berkisar dari 64 x 64 piksel hingga 4096 piksel X 4096 piksel.

  • Jika ukuran anomali kecil, pertimbangkan untuk membagi gambar menjadi ubin terpisah dan gunakan gambar ubin untuk pelatihan dan pengujian. Ini memungkinkan model melihat cacat pada ukuran yang lebih besar dalam gambar.

Setelah Anda meningkatkan set data pelatihan dan pengujian, latih ulang dan evaluasi ulang model Anda. Untuk informasi selengkapnya, lihat Melatih model Anda.

Jika metrik menunjukkan bahwa model Anda memiliki kinerja yang dapat diterima, Anda dapat memverifikasi kinerjanya dengan menambahkan hasil tugas deteksi uji coba ke set data pengujian. Setelah pelatihan ulang, metrik kinerja harus mengkonfirmasi metrik kinerja dari pelatihan sebelumnya. Untuk informasi selengkapnya, lihat Memverifikasi model Anda dengan tugas deteksi uji coba.