Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Creazione di funzioni di consolidamento delle annotazioni
Puoi scegliere di utilizzare la tua funzione di consolidamento delle annotazioni per determinare le etichette finali per gli oggetti etichettati. Esistono molti approcci possibili per scrivere una funzione e l'approccio che adotti dipende dalla natura delle annotazioni da consolidare. In generale, le funzioni di consolidamento osservano le annotazioni dei worker, ne misurano la somiglianza e quindi utilizzano una forma di giudizio probabilistico per determinare quale deve essere l'etichetta più probabile.
Se desideri utilizzare altri algoritmi per creare funzioni di consolidamento delle annotazioni, puoi trovare le risposte del worker nella cartella [project-name]/annotations/worker-response
Valuta la somiglianza
Per valutare la somiglianza tra etichette, puoi utilizzare una delle seguenti strategie o utilizzarne una che soddisfa le esigenze di etichettatura dei dati:
-
Per spazi etichetta costituiti da categorie discrete, mutuamente esclusive, come la classificazione multiclasse, la valutazione della somiglianza può essere semplice. Le etichette discrete o corrispondono o non corrispondono.
-
Per spazi etichetta che non includono valori discreti, come le annotazioni riquadro di delimitazione, occorre trovare una misura di somiglianza ampia. Per i riquadri di delimitazione, una tale misura è l'indice di Jaccard. Questo consente di misurare il rapporto dell'intersezione di due caselle con l'unione delle caselle per valutarne la somiglianza. Ad esempio, se ci sono tre annotazioni, può esserci una funzione che determina quali annotazioni rappresentano lo stesso oggetto e devono essere consolidate.
Valuta l'etichetta più probabile
Tenendo in considerazione una delle strategie illustrate nelle sezioni precedenti, crea una sorta di giudizio probabilistico su come deve essere l'etichetta consolidata. Nel caso di categorie discrete mutuamente esclusive, può essere semplice. Uno dei modi più comuni per eseguire questa operazione è prendere i risultati di una votazione a maggioranza tra le annotazioni. Ciò consente di pesare le annotazioni equamente.
Alcuni approcci tentano di stimare la precisione di annotatori diversi e di pesare le relative annotazioni in proporzione alla probabilità di correttezza. Un esempio è il metodo Expectation Maximization, che viene utilizzato nella funzione di consolidamento Ground Truth predefinita per annotazioni multiclasse.
Per ulteriori informazioni sulla creazione di una funzione di consolidamento delle annotazioni, consulta Elaborazione con AWS Lambda.
