Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Valutazione e miglioramento degli adattatori
Una volta terminato il processo di formazione e creato l'adattatore, è importante valutare in che modo l'adattatore estrae le informazioni dai documenti.
Metriche delle prestazioni
La console Amazon Textract fornisce tre parametri per aiutarti ad analizzare le prestazioni dell'adattatore:
-
Precisione: la precisione misura la percentuale di informazioni estratte (previsioni) corrette. Maggiore è il livello di precisione, minore è il numero di falsi positivi.
-
Richiamo: il richiamo misura la percentuale del totale degli elementi rilevanti che vengono identificati ed estratti con successo dal modello. Più alto è il valore di richiamo, minore è il numero di falsi negativi.
-
Punteggio F1 - Il punteggio F1 combina precisione e richiamo in un'unica metrica, fornendo una misurazione bilanciata per la precisione complessiva dell'estrazione.
I valori per queste misurazioni vanno da 0 a 1, dove 1 indica l'estrazione perfetta.
Queste metriche vengono calcolate confrontando le estrazioni dell'adattatore con le annotazioni «verità di base» sul set di test. Analizzando la F1, la precisione e il richiamo, è possibile determinare dove è necessario migliorare l'adattatore.
Ad esempio, una bassa precisione significa che molte delle previsioni del modello sono falsi positivi, pertanto l'adattatore estrae dati irrilevanti. Al contrario, un valore di richiamo basso indica che nel modello mancano dati pertinenti. Utilizzando queste informazioni, è possibile perfezionare i dati di allenamento e riaddestrare l'adattatore per aumentare le prestazioni.
È inoltre possibile verificare le prestazioni del modello testandolo con nuovi documenti e domande specificate dall'utente. Utilizza l'opzione Try Adapter nella console per ottenere previsioni per questi documenti. In questo modo, puoi valutare l'adattatore con le tue domande di prova e i tuoi documenti e vedere esempi reali delle prestazioni dell'adattatore.
Puoi anche recuperare le metriche per una versione dell'adattatore utilizzando l'GetAdapterVersionoperazione utilizzando un SDK o la CLI. Ottieni un elenco di adattatori per i quali desideri recuperare le metriche utilizzando l'operazione API. ListAdapterVersions Eliminate un adattatore che non vi serve più durante l'operazione. DeleteAdapterVersion
Migliora il tuo modello
L'implementazione dell'adattatore è un processo iterativo, poiché probabilmente dovrai riaddestrarti più volte per raggiungere il livello di precisione desiderato. Dopo aver creato e addestrato l'adattatore, ti consigliamo di testarlo e valutarne le prestazioni sulla base di varie metriche e query.
Se la precisione dell'adattatore è carente in qualsiasi area, aggiungi nuovi esempi di tali documenti per aumentare le prestazioni dell'adattatore per tali domande. Provate a fornire all'adattatore altri esempi vari che riflettano i casi in cui non funziona. Fornendo all'adattatore documenti rappresentativi e variegati, è possibile gestire diversi esempi del mondo reale.
Dopo aver aggiunto nuovi documenti al set di allenamento, riqualifica l'adattatore. Quindi rivalutate il set di test e le domande. Ripeti questa procedura finché l'adattatore non raggiunge il livello di prestazioni desiderato. La precisione, il richiamo e i punteggi di F1 dovrebbero migliorare gradualmente nelle successive iterazioni di allenamento.
