Utilisation de jeux de données rapides et de dimensions d'évaluation disponibles dans les tâches d'évaluation de modèles

Connaissances factuelles — Évalue dans quelle mesure votre modèle encode les connaissances factuelles. FMEvalpeut mesurer votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser un ensemble de données intégré basé sur TREXjeu de données open source.

Robustesse sémantique : évalue dans quelle mesure la sortie de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. FMEvalmesure l'évolution de la sortie de votre modèle en raison de fautes de frappe au clavier, de modifications aléatoires en majuscules et d'ajouts ou de suppressions aléatoires d'espaces blancs.

Stéréotypage rapide : mesure la probabilité que votre modèle présente des biais de codage dans sa réponse. Ces biais incluent ceux liés à la race, au sexe, à l'orientation sexuelle, à la religion, à l'âge, à la nationalité, au handicap, à l'apparence physique et au statut socio-économique. FMEvalpeut mesurer les réponses de votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser un ensemble de données intégré basé sur CrowS-Pairsjeu de données open source challenge.

Toxicité — Évalue le texte à l'aide de modèles de détection de toxicité. FMEvalvérifie votre modèle pour détecter les références sexuelles, les commentaires grossiers, déraisonnables, haineux ou agressifs, les blasphèmes, les insultes, les flirts, les attaques contre l'identité et les menaces. FMEvalpeut mesurer votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser des ensembles de données intégrés basés sur RealToxicityPrompts, RealToxicityPromptsChallenging, et BOLDensembles de données.

RealToxicityPromptsChallenging est un sous-ensemble de RealToxicityPrompts qui est utilisé pour tester les limites d'un grand modèle de langage (LLM). Il identifie également les zones LLMs vulnérables à la génération de texte toxique.

Vous pouvez évaluer votre modèle avec les détecteurs de toxicité suivants :

Précision — Un score numérique indiquant la similitude du résumé avec un résumé de référence considéré comme une référence reconnue comme une référence. Un score numérique élevé indique que le résumé est de grande qualité. Un score numérique faible indique un mauvais résumé. Les mesures suivantes sont utilisées pour évaluer l'exactitude d'un résumé :

Toxicité — Scores pour les résumés générés qui sont calculés à l'aide d'un modèle de détecteur de toxicité. Pour plus d'informations, consultez la section Toxicité de la précédente pour la tâche de génération ouverte pour plus de détails.

Robustesse sémantique : mesure de la mesure dans laquelle la qualité du résumé textuel de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. Ces modifications incluent notamment les fautes de frappe, les modifications aléatoires apportées aux majuscules et les ajouts ou suppressions aléatoires d'espaces blancs. La robustesse sémantique utilise la différence absolue de précision entre un résumé de texte non perturbé et un résumé perturbé. L'algorithme de précision utilise le ROUGE-N, Meteor, et BERTScoremétriques, comme détaillé précédemment dans cette section.

Précision — Un score moyen comparant la réponse générée aux paires questions-réponses données dans les références. La moyenne du score est calculée à l'aide des méthodes suivantes :

Robustesse sémantique : mesure de la mesure dans laquelle la qualité du résumé textuel de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. Parmi ces modifications, citons les fautes de frappe au clavier, la conversion inexacte de nombres en mots, les modifications aléatoires en majuscules et les ajouts ou suppressions aléatoires d'espaces blancs. La robustesse sémantique utilise la différence absolue de précision entre un résumé de texte non perturbé et un résumé perturbé. La précision est mesurée à l'aide d'une correspondance exacte, d'une correspondance quasi-exacte et de F1 sur des mots, comme décrit précédemment.

Toxicité — Les scores évaluent les réponses générées à l'aide d'un modèle de détecteur de toxicité. Pour plus d'informations, consultez la section Toxicité de la précédente pour la tâche de génération ouverte pour plus de détails.

Précision : score qui compare la classe prédite à son étiquette. La précision est mesurée à l'aide des mesures suivantes :

Robustesse sémantique : évalue dans quelle mesure la sortie de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. FMEvalmesure le résultat de votre modèle à la suite de fautes de frappe au clavier, de modifications aléatoires de majuscules et d'ajouts ou de suppressions aléatoires d'espaces blancs. La robustesse sémantique mesure la différence absolue de précision entre un résumé de texte non perturbé et un résumé perturbé.

Échelle de Likert (comparative) - comparaison — Un évaluateur humain indiquera sa préférence entre deux réponses sur une échelle de Likert à 5 points conformément à vos instructions. Dans le rapport final, les résultats seront présentés sous forme d'histogramme des évaluations par force de préférence sur l'ensemble de votre ensemble de données. Définissez les points importants de l'échelle à 5 points dans vos instructions afin que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes.

Boutons de choix (comparatif) — Permet à un évaluateur humain d'indiquer une réponse préférée par rapport à une autre à l'aide de boutons radio, conformément à vos instructions. Les résultats du rapport final se présentent sous la forme d’un pourcentage de réponses que les travailleurs ont préférées pour chaque modèle. Expliquez clairement votre méthode d'évaluation dans les instructions.

Rang ordinal (comparatif) — Permet à un évaluateur humain de classer ses réponses préférées à une invite dans l'ordre, en commençant par 1, et conformément à vos instructions. Dans le rapport final, les résultats s'affichent sous forme d'histogramme des classements établis par les évaluateurs sur l'ensemble de données. Assurez-vous de définir ce que 1 signifie un rang de dans vos instructions.

(Individuel) Pouce vers le haut ou vers le bas : permet à un évaluateur humain d'évaluer chaque réponse d'un modèle comme étant acceptable ou inacceptable conformément à vos instructions. Dans le rapport final, les résultats indiquent un pourcentage du nombre total de notes attribuées par les évaluateurs ayant reçu une note positive pour chaque modèle. Vous pouvez utiliser cette méthode de notation pour évaluer un ou plusieurs modèles. Si vous l'utilisez dans une évaluation contenant deux modèles, l'interface utilisateur propose à votre équipe de travail une option « pouce levé » ou « pouce vers le bas » pour chaque réponse du modèle. Le rapport final présentera les résultats agrégés pour chaque modèle individuellement. Définissez ce qui constitue une réponse acceptable dans les instructions que vous donnez à votre équipe de travail.

Échelle de Likert (individuelle) - individuelle — Permet à un évaluateur humain d'indiquer dans quelle mesure il approuve la réponse du modèle, en fonction de vos instructions, sur une échelle de Likert à 5 points. Dans le rapport final, les résultats affichent un histogramme des notes à 5 points attribuées par les évaluateurs sur l'ensemble de votre ensemble de données. Vous pouvez utiliser cette méthode de notation pour une évaluation contenant un ou plusieurs modèles. Si vous sélectionnez cette méthode de notation dans une évaluation contenant plusieurs modèles, une échelle de Likert à 5 points est présentée à votre équipe de travail pour chaque réponse du modèle. Le rapport final présentera les résultats agrégés pour chaque modèle individuellement. Définissez les points importants sur l'échelle de 5 points dans vos instructions afin que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes.