Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Creazione di istruzioni efficaci per il lavoratore
La creazione di istruzioni efficaci per le attività di valutazione del modello favorisce l'accuratezza del lavoratore nel completare il suo compito. Puoi modificare le istruzioni predefinite fornite nella console durante la creazione di un processo di valutazione del modello. Le istruzioni vengono mostrate al worker nella pagina di interfaccia utente di completamento dell'attività di etichettatura.
Per aiutare i lavoratori a completare le attività assegnate, puoi fornire istruzioni in due ubicazioni.
Fornisci una buona descrizione per ogni metodo di valutazione e classificazione
Le descrizioni devono fornire una spiegazione succinta delle metriche selezionate. La descrizione deve ampliare la metrica e chiarire in che modo desideri che i lavoratori valutino il metodo di valutazione selezionato. Per vedere esempi di come ogni metodo di valutazione viene mostrato nell'interfaccia utente del lavoratore, consulta Riepilogo dei metodi di valutazione disponibili .
Fornisci ai tuoi dipendenti istruzioni generali per la valutazione
Queste istruzioni vengono visualizzate nella stessa pagina Web in cui i lavoratori completano un'attività. Puoi utilizzare questo spazio per fornire indicazioni di alto livello per il processo di valutazione del modello e per descrivere le risposte di verità fondamentale, se le hai incluse nel tuo set di dati dei prompt.
Riepilogo dei metodi di valutazione disponibili
In ognuna delle seguenti sezioni, puoi vedere un esempio dei metodi di valutazione utilizzati dal tuo team di lavoro nell'interfaccia utente di valutazione e anche come tali risultati vengono salvati in Amazon S3.
Scala Likert, confronto di output di più modelli
I valutatori umani indicano la loro preferenza tra le due risposte del modello su una scala Likert a 5 punti secondo le istruzioni da te fornite. I risultati del report finale verranno visualizzati sotto forma di istogramma delle valutazioni di intensità delle preferenze fornite dai valutatori sull'intero set di dati.
Assicurati di definire i punti importanti della scala a 5 punti nelle istruzioni, in modo che i valutatori sappiano come valutare le risposte in base alle tue aspettative.
Output JSON
La prima chiave secondaria sotto evaluationResults indica dove viene restituito il metodo di valutazione selezionato. Nel file di output salvato nel bucket Amazon S3, i risultati di ogni lavoratore vengono salvati nella coppia chiave-valore "evaluationResults": "comparisonLikertScale".
Tasti di scelta (pulsante radio)
I pulsanti di scelta consentono a un valutatore umano di indicare la propria risposta preferita rispetto a un'altra risposta. I valutatori indicano la loro preferenza tra due risposte in base alle istruzioni da te fornite con i pulsanti di opzione. I risultati del report finale verranno visualizzati come percentuale delle risposte preferite dai lavoratori per ciascun modello. Assicurati di spiegare chiaramente il tuo metodo di valutazione nelle istruzioni.
Output JSON
La prima chiave secondaria sotto evaluationResults indica dove viene restituito il metodo di valutazione selezionato. Nel file di output salvato nel bucket Amazon S3, i risultati di ogni lavoratore vengono salvati nella coppia chiave-valore "evaluationResults": "comparisonChoice".
Classificazione ordinale
La classificazione ordinale consente a un valutatore umano di classificare le proprie risposte preferite a un prompt in ordine, a partire da 1 in base alle istruzioni fornite. I risultati del report finale verranno visualizzati sotto forma di istogramma delle classificazioni fornite dai valutatori sull'intero set di dati. Assicurati di definire cosa significa un grado pari a 1 nelle tue istruzioni.
Output JSON
La prima chiave secondaria sotto evaluationResults indica dove viene restituito il metodo di valutazione selezionato. Nel file di output salvato nel bucket Amazon S3, i risultati di ogni lavoratore vengono salvati nella coppia chiave-valore "evaluationResults": "comparisonRank".
Pollice su/giù
Il pollice su/giù consente a un valutatore umano di valutare ogni risposta di un modello come accettabile/inaccettabile in base alle istruzioni fornite. I risultati del report finale saranno mostrati come percentuale del numero totale di valutazioni da parte dei valutatori che hanno ricevuto un pollice in su per ciascun modello. Puoi utilizzare questo metodo di valutazione per valutare uno o più modelli. Se utilizzi questa funzione in una valutazione che contiene due modelli, al team di lavoro verrà presentato un pollice su/giù per ciascuna risposta del modello e il report finale mostrerà i risultati aggregati di ogni singolo modello. Assicurati di definire cosa è accettabile (ovvero cos'è una valutazione con il pollice in su) nelle istruzioni.
Output JSON
La prima chiave secondaria sotto evaluationResults indica dove viene restituito il metodo di valutazione selezionato. Nel file di output salvato nel bucket Amazon S3, i risultati di ogni lavoratore vengono salvati nella coppia chiave-valore "evaluationResults": "thumbsUpDown".
Scala Likert, valutazione della risposta di un singolo modello
Consente a un valutatore umano di indicare in che misura ha approvato la risposta del modello sulla base delle istruzioni fornite su una scala Likert a 5 punti. I risultati del report finale verranno visualizzati sotto forma di istogramma delle valutazioni a 5 punti dei valutatori sull'intero set di dati. Puoi utilizzare questo metodo di valutazione per valutare uno o più modelli. Se selezioni questo metodo di valutazione che contiene più di un modello, al team di lavoro verrà presentato un pollice su/giù per ciascuna risposta del modello e il report finale mostrerà i risultati aggregati per ciascun singolo modello. Assicurati di definire i punti importanti della scala a 5 punti nelle istruzioni, in modo che i valutatori sappiano come valutare le risposte in base alle tue aspettative.
Output JSON
La prima chiave secondaria sotto evaluationResults indica dove viene restituito il metodo di valutazione selezionato. Nel file di output salvato nel bucket Amazon S3, i risultati di ogni lavoratore vengono salvati nella coppia chiave-valore "evaluationResults": "individualLikertScale".
