Metriche personalizzate per il riconoscimento delle entità - Amazon Comprehend
Miglioramento delle prestazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Metriche personalizzate per il riconoscimento delle entità

Amazon Comprehend ti fornisce metriche per aiutarti a stimare l'efficacia di un Entity Recognizer per il tuo lavoro. Si basano sull'addestramento del modello di riconoscimento e quindi, sebbene rappresentino accuratamente le prestazioni del modello durante l'addestramento, sono solo un'approssimazione delle prestazioni dell'API durante l'individuazione delle entità.

Le metriche vengono restituite ogni volta che vengono restituiti i metadati di un identificatore di entità addestrato.

Amazon Comprehend supporta l'addestramento di un modello su un massimo di 25 entità alla volta. Quando le metriche vengono restituite da un riconoscitore di entità esperto, i punteggi vengono calcolati sia per il sistema di riconoscimento nel suo insieme (metriche globali) sia per ogni singola entità (metriche di entità).

Sono disponibili tre metriche, sia come metriche globali che come metriche di entità:

  • Precisione

    Indica la frazione di entità prodotte dal sistema che sono correttamente identificate ed etichettate correttamente. Ciò dimostra quante volte l'identificazione dell'entità del modello è davvero una buona identificazione. È una percentuale del numero totale di identificazioni.

    In altre parole, la precisione si basa su veri positivi (tp) e falsi positivi (fp) e viene calcolata come precision = tp/(tp + fp).

    Ad esempio, se un modello prevede la presenza di due esempi di entità in un documento, dove in realtà ce n'è solo uno, il risultato è uno vero positivo e uno falso positivo. In questo caso, precisione = 1/(1 + 1). La precisione è del 50%, poiché una delle due entità identificate dal modello è corretta.

  • Richiama

    Indica la frazione di entità presenti nei documenti che sono correttamente identificate ed etichettate dal sistema. Matematicamente, questo valore è definito in termini di numero totale di identificazioni corrette, veri positivi (tp) e identificazioni mancate (falsi negativi).

    Viene calcolato come recall = tp/(tp + fn). Ad esempio, se un modello identifica correttamente un'entità, ma omette altre due istanze in cui tale entità è presente, il risultato è un vero positivo e due falsi negativi. In questo caso, recall = 1/(1+ 2). Il richiamo è del 33,33%, poiché un'entità è corretta tra i tre esempi possibili.

  • Punteggio F1

    Si tratta di una combinazione delle metriche Precision e Recall, che misura l'accuratezza complessiva del modello per il riconoscimento personalizzato delle entità. Il punteggio F1 è la media armonica delle metriche Precision e Recall: F1 = 2 * Precision * Recall/(Precision + Recall).

    Nota

    Intuitivamente, la media armonica penalizza gli estremi più della media semplice o altre medie (esempio: precision = 0, recall = 1) potrebbero essere ottenute in modo banale prevedendo tutti gli intervalli possibili. Qui, la media semplice sarebbe 0,5, ma la penalizzerebbe come 0). F1

    Negli esempi precedenti, precision = 50% e recall = 33,33%, quindi F1 = 2 * 0,5 * 0,3333/(0,5 + 0,3333). Il punteggio F1 è .3975 o 39,75%.

Metriche globali e individuali delle entità

La relazione tra le metriche globali e quelle delle singole entità può essere vista analizzando la frase seguente per entità che sono un luogo o una persona

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

Nel nostro esempio, il modello effettua le seguenti previsioni.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

Tuttavia, le previsioni avrebbero dovuto essere le seguenti.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

Le metriche delle singole entità a tal fine sarebbero:

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

Le metriche globali a tal fine sarebbero:

Globale:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

Miglioramento delle prestazioni del riconoscimento di entità personalizzato

Queste metriche forniscono informazioni sull'accuratezza delle prestazioni del modello addestrato quando lo si utilizza per identificare le entità. Ecco alcune opzioni che puoi utilizzare per migliorare le tue metriche se sono inferiori alle tue aspettative:

  1. A seconda che utilizzi Annotazioni o menoElenchi di entità (solo testo semplice), assicurati di seguire le linee guida contenute nella rispettiva documentazione per migliorare la qualità dei dati. Se osservi metriche migliori dopo aver migliorato i dati e riaddestrato il modello, puoi continuare a iterare e migliorare la qualità dei dati per ottenere prestazioni migliori del modello.

  2. Se utilizzi un elenco di entità, valuta la possibilità di utilizzare invece le annotazioni. Le annotazioni manuali possono spesso migliorare i risultati.

  3. Se sei sicuro che non vi sia un problema di qualità dei dati e tuttavia le metriche rimangono irragionevolmente basse, invia una richiesta di assistenza.