Metrik pengenal entitas khusus - Amazon Comprehend
Meningkatkan performa

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metrik pengenal entitas khusus

Amazon Comprehend memberi Anda metrik untuk membantu Anda memperkirakan seberapa baik pengenal entitas bekerja untuk pekerjaan Anda. Mereka didasarkan pada pelatihan model pengenal, dan sementara mereka secara akurat mewakili kinerja model selama pelatihan, mereka hanya perkiraan kinerja API selama penemuan entitas.

Metrik dikembalikan setiap kali metadata dari pengenal entitas terlatih dikembalikan.

Amazon Comprehend mendukung pelatihan model hingga 25 entitas sekaligus. Ketika metrik dikembalikan dari pengenal entitas terlatih, skor dihitung terhadap pengenal secara keseluruhan (metrik global) dan untuk setiap entitas individu (metrik entitas).

Tiga metrik tersedia, baik sebagai metrik global maupun entitas:

  • presisi

    Ini menunjukkan fraksi entitas yang dihasilkan oleh sistem yang diidentifikasi dengan benar dan diberi label dengan benar. Ini menunjukkan berapa kali identifikasi entitas model benar-benar merupakan identifikasi yang baik. Ini adalah persentase dari jumlah total identifikasi.

    Dengan kata lain, presisi didasarkan pada positif benar (tp) dan positif palsu (fp) dan dihitung sebagai presisi = tp/(tp + fp).

    Misalnya, jika model memprediksi bahwa dua contoh entitas hadir dalam dokumen, di mana sebenarnya hanya ada satu, hasilnya adalah satu positif benar dan satu positif palsu. Dalam hal ini, presisi = 1/(1 + 1). Ketepatannya adalah 50%, karena satu entitas benar dari dua yang diidentifikasi oleh model.

  • Ingat

    Ini menunjukkan fraksi entitas yang ada dalam dokumen yang diidentifikasi dan diberi label dengan benar oleh sistem. Secara matematis, ini didefinisikan dalam hal jumlah total identifikasi yang benar benar positif (tp) dan identifikasi yang terlewat negatif palsu (fn).

    Ini dihitung sebagai recall = tp/(tp + fn). Misalnya jika model mengidentifikasi satu entitas dengan benar, tetapi melewatkan dua contoh lain di mana entitas itu hadir, hasilnya adalah satu positif benar dan dua negatif palsu. Dalam hal ini, ingat = 1/(1 + 2). Penarikan kembali adalah 33,33%, karena satu entitas benar dari kemungkinan tiga contoh.

  • Skor F1

    Ini adalah kombinasi dari metrik Presisi dan Ingat, yang mengukur akurasi keseluruhan model untuk pengenalan entitas kustom. Skor F1 adalah rata-rata harmonik dari metrik Presisi dan Ingat: F1 = 2 * Presisi* Ingat/(Presisi+Ingat).

    catatan

    Secara intuitif, rata-rata harmonik menghukum ekstrem lebih dari rata-rata sederhana atau cara lain (contoh: precision = 0, recall = 1 dapat dicapai secara sepele dengan memprediksi semua rentang yang mungkin. Di sini, rata-rata sederhana adalah 0,5, tetapi F1 akan menghukumnya sebagai 0).

    Dalam contoh di atas, precision = 50% dan recall = 33,33%, oleh karena itu F1 = 2 * 0,5 * 0,3333/(0,5 + 0,3333). Skor F1 adalah 0,3975, atau 39,75%.

Metrik entitas global dan individu

Hubungan antara metrik entitas global dan individu dapat dilihat ketika menganalisis kalimat berikut untuk entitas yang merupakan tempat atau orang

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

Dalam contoh kita, model membuat prediksi berikut.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

Namun, prediksinya seharusnya sebagai berikut.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

Metrik entitas individu untuk ini adalah:

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

Metrik global untuk ini adalah:

Global:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

Meningkatkan kinerja pengenal entitas kustom

Metrik ini memberikan wawasan tentang seberapa akurat kinerja model terlatih saat Anda menggunakannya untuk mengidentifikasi entitas. Berikut adalah beberapa opsi yang dapat Anda gunakan untuk meningkatkan metrik Anda jika lebih rendah dari harapan Anda:

  1. Tergantung pada apakah Anda menggunakan Anotasi atauDaftar entitas (hanya teks biasa), pastikan untuk mengikuti pedoman dalam dokumentasi masing-masing untuk meningkatkan kualitas data. Jika Anda mengamati metrik yang lebih baik setelah meningkatkan data dan melatih ulang model, Anda dapat terus mengulangi dan meningkatkan kualitas data untuk mencapai kinerja model yang lebih baik.

  2. Jika Anda menggunakan Daftar Entitas, pertimbangkan untuk menggunakan Anotasi sebagai gantinya. Anotasi manual seringkali dapat meningkatkan hasil Anda.

  3. Jika Anda yakin tidak ada masalah kualitas data, namun metriknya tetap rendah, kirimkan permintaan dukungan.