Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik pengklasifikasi khusus

Amazon Comprehend menyediakan metrik untuk membantu Anda memperkirakan seberapa baik kinerja pengklasifikasi kustom. Amazon Comprehend menghitung metrik menggunakan data pengujian dari pekerjaan pelatihan pengklasifikasi. Metrik secara akurat mewakili kinerja model selama pelatihan, sehingga mereka memperkirakan kinerja model untuk klasifikasi data serupa.

Gunakan operasi API seperti DescribeDocumentClassifieruntuk mengambil metrik untuk pengklasifikasi kustom.

Metrik

Amazon Comprehend mendukung metrik berikut:

Untuk melihat metrik untuk Pengklasifikasi, buka halaman Detail Pengklasifikasi di konsol.

Akurasi

Akurasi menunjukkan persentase label dari data uji yang diprediksi model secara akurat. Untuk menghitung akurasi, bagi jumlah label yang diprediksi secara akurat dalam dokumen pengujian dengan jumlah total label dalam dokumen pengujian.

Sebagai contoh

Akurasi terdiri dari jumlah prediksi akurat dibagi dengan jumlah sampel uji keseluruhan = 5/7 = 0,714, atau 71,4%

Presisi (presisi makro)

Presisi adalah ukuran kegunaan hasil pengklasifikasi dalam data uji. Ini didefinisikan sebagai jumlah dokumen yang diklasifikasikan secara akurat, dibagi dengan jumlah total klasifikasi untuk kelas. Presisi tinggi berarti bahwa pengklasifikasi mengembalikan hasil yang jauh lebih relevan daripada yang tidak relevan.

PrecisionMetrik ini juga dikenal sebagai Macro Precision.

Contoh berikut menunjukkan hasil presisi untuk set tes.

Oleh karena itu, metrik Presisi (Presisi Makro) untuk model adalah:

Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67

Ingat (penarikan makro)

Ini menunjukkan persentase kategori yang benar dalam teks Anda yang dapat diprediksi oleh model. Metrik ini berasal dari rata-rata skor penarikan semua label yang tersedia. Ingat adalah ukuran seberapa lengkap hasil pengklasifikasi untuk data pengujian.

Ingat tinggi berarti bahwa pengklasifikasi mengembalikan sebagian besar hasil yang relevan.

RecallMetrik ini juga dikenal sebagai Macro Recall.

Contoh berikut menunjukkan hasil recall untuk set tes.

Oleh karena itu, metrik Recall (Makro Recall) untuk model adalah:

Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656

Skor F1 (skor F1 makro)

Skor F1 berasal dari Recall nilai Precision dan. Ini mengukur akurasi keseluruhan pengklasifikasi. Skor tertinggi adalah 1, dan skor terendah adalah 0.

Amazon Comprehend menghitung Skor Makro F1. Ini adalah rata-rata tidak tertimbang dari skor label F1. Menggunakan set tes berikut sebagai contoh:

Skor F1 (Skor Makro F1) untuk model dihitung sebagai berikut:

Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536

Kehilangan Hamming

Fraksi label yang salah diprediksi. Juga dilihat sebagai fraksi label yang salah dibandingkan dengan jumlah total label. Skor mendekati nol lebih baik.

Presisi mikro

Asli:

Mirip dengan metrik presisi, kecuali bahwa presisi mikro didasarkan pada skor keseluruhan dari semua skor presisi yang ditambahkan bersama-sama.

Penarikan mikro

Mirip dengan metrik recall, kecuali bahwa micro recall didasarkan pada skor keseluruhan dari semua skor recall yang ditambahkan bersama-sama.

Skor Micro F1

Skor Micro F1 adalah kombinasi dari metrik Micro Precision dan Micro Recall.

Meningkatkan kinerja pengklasifikasi kustom Anda

Metrik memberikan wawasan tentang kinerja pengklasifikasi kustom Anda selama pekerjaan klasifikasi. Jika metriknya rendah, model klasifikasi mungkin tidak efektif untuk kasus penggunaan Anda. Anda memiliki beberapa opsi untuk meningkatkan kinerja pengklasifikasi Anda: