Utilizzo di set di dati rapidi e dimensioni di valutazione disponibili nei lavori di valutazione dei modelli

Conoscenza fattuale: valuta quanto bene il modello codifica la conoscenza fattuale. FMEvalpuò misurare il modello rispetto al proprio set di dati personalizzato o utilizzare un set di dati integrato basato su TREXset di dati open source.

Robustezza semantica: valuta quanto cambia l'output del modello a seguito di piccole modifiche nell'input che preservano la semantica. FMEvalmisura come cambia l'output del modello a seguito di errori di battitura da tastiera, modifiche casuali alle lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi.

Stereotipizzazione rapida: misura la probabilità che il modello codifichi errori nella codifica nella sua risposta. Questi pregiudizi includono quelli relativi a razza, genere, orientamento sessuale, religione, età, nazionalità, disabilità, aspetto fisico e status socioeconomico. FMEvalpuò misurare le risposte del modello rispetto al proprio set di dati personalizzato o utilizzare un set di dati integrato basato su CrowS-Pairsset di dati open source per sfide.

Tossicità: valuta il testo utilizzando modelli di rilevamento della tossicità. FMEvalverifica la presenza di riferimenti sessuali, commenti maleducati, irragionevoli, odiosi o aggressivi, parolacce, insulti, flirt, attacchi all'identità e minacce. FMEvalpuò misurare il modello rispetto al proprio set di dati personalizzato o utilizzare set di dati integrati basati su RealToxicityPrompts, RealToxicityPromptsChallenging, e BOLDset di dati.

RealToxicityPromptsChallenging è un sottoinsieme di RealToxicityPrompts utilizzato per testare i limiti di un modello linguistico di grandi dimensioni (LLM). Identifica inoltre le aree LLMs vulnerabili alla generazione di testo tossico.

È possibile valutare il modello con i seguenti rilevatori di tossicità:

Precisione: un punteggio numerico che indica la somiglianza del riepilogo con un riepilogo di riferimento accettato come standard di riferimento. Un punteggio numerico elevato indica che il riepilogo è di alta qualità. Un punteggio numerico basso indica un riepilogo scadente. Le seguenti metriche vengono utilizzate per valutare l'accuratezza di un riepilogo:

Tossicità: punteggi per i riepiloghi generati calcolati utilizzando un modello di rilevatore di tossicità. Per ulteriori informazioni, per ulteriori informazioni, consultate la sezione Tossicità nella precedente attività dedicata alla generazione aperta.

Robustezza semantica: misura in che misura la qualità del riepilogo del testo del modello cambia a seguito di piccole modifiche nell'input che preservano la semantica. Esempi di queste modifiche includono errori di battitura, modifiche casuali alle lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi. La robustezza semantica utilizza la differenza assoluta di precisione tra un riepilogo di testo imperturbato e uno che è perturbato. L'algoritmo di precisione utilizza il ROUGE-N, Meteore BERTScoremetriche, come descritto in precedenza in questa sezione.

Precisione: un punteggio medio che confronta la risposta generata con le coppie di domande e risposte fornite nei riferimenti. Il punteggio viene calcolato in base ai seguenti metodi:

Robustezza semantica: misura di quanto cambia la qualità del riepilogo del testo del modello a seguito di piccole modifiche nell'input che preservano la semantica. Esempi di queste modifiche includono errori di battitura da tastiera, conversione imprecisa di numeri in parole, modifiche casuali in lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi. La robustezza semantica utilizza la differenza assoluta di precisione tra un riepilogo di testo imperturbato e uno che è perturbato. La precisione viene misurata utilizzando la corrispondenza esatta, la corrispondenza quasi esatta e la combinazione F1 sulle parole, come descritto in precedenza.

Tossicità: i punteggi valutano le risposte generate utilizzando un modello di rilevatore di tossicità. Per ulteriori informazioni, consultate la sezione Tossicità nella precedente attività dedicata alla generazione aperta per i dettagli.

Precisione: un punteggio che confronta la classe prevista con la relativa etichetta. La precisione viene misurata utilizzando le seguenti metriche:

Robustezza semantica: valuta quanto cambia l'output del modello a seguito di piccole modifiche nell'input che preservano la semantica. FMEvalmisura l'output del modello come risultato di errori di battitura da tastiera, modifiche casuali alle lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi. La robustezza semantica segna la differenza assoluta in termini di precisione tra un riepilogo di testo imperturbato e uno che è perturbato.

Scala Likert (comparativa): confronto: un valutatore umano indicherà la propria preferenza tra due risposte su una scala Likert a 5 punti in base alle istruzioni fornite. Nel rapporto finale, i risultati verranno visualizzati come un istogramma di valutazioni in base all'intensità delle preferenze sull'intero set di dati. Definite i punti importanti della scala a 5 punti nelle vostre istruzioni in modo che i valutatori sappiano come valutare le risposte in base alle vostre aspettative.

Tasti di scelta (comparativi): consentono a un valutatore umano di indicare una risposta preferita rispetto a un'altra utilizzando i pulsanti di opzione, in base alle istruzioni fornite dall'utente. I risultati del report finale verranno visualizzati come percentuale delle risposte preferite dai lavoratori per ciascun modello. Spiegate chiaramente il vostro metodo di valutazione nelle istruzioni.

Grado ordinale (comparativo): consente a un valutatore umano di classificare le proprie risposte preferite a un prompt in ordine, a partire da 1 e in base alle istruzioni fornite. Nel rapporto finale, i risultati vengono visualizzati sotto forma di istogramma delle posizioni ottenute dai valutatori sull'intero set di dati. Assicurati di definire il 1 significato di rango nelle tue istruzioni.

(Individuale) Pollice su/giù: consente a un valutatore umano di valutare ogni risposta di un modello come accettabile o inaccettabile in base alle istruzioni fornite. Nel rapporto finale, i risultati mostrano una percentuale del numero totale di valutazioni dei valutatori che hanno ricevuto una valutazione positiva per ciascun modello. È possibile utilizzare questo metodo di valutazione per valutare uno o più modelli. Se lo si utilizza in una valutazione che contiene due modelli, l'interfaccia utente presenta al team di lavoro un'opzione di pollice in alto o in giù per ogni risposta del modello. Il rapporto finale mostrerà i risultati aggregati per ogni modello singolarmente. Definite quale sia una risposta accettabile nelle istruzioni che date al vostro team di lavoro.

Scala Likert (individuale) - individuale: consente a un valutatore umano di indicare in che misura approva la risposta del modello, sulla base delle vostre istruzioni, su una scala Likert a 5 punti. Nel rapporto finale, i risultati mostrano un istogramma delle valutazioni a 5 punti fornite dai valutatori sull'intero set di dati. È possibile utilizzare questo metodo di valutazione per una valutazione contenente uno o più modelli. Se si seleziona questo metodo di valutazione in una valutazione che contiene più di un modello, per ogni risposta del modello viene presentata al team di lavoro una scala Likert a 5 punti. Il rapporto finale mostrerà i risultati aggregati per ciascun modello singolarmente. Definite i punti importanti sulla scala a 5 punti nelle vostre istruzioni in modo che i vostri valutatori sappiano come valutare le risposte in base alle vostre aspettative.