Création d'un poste d'évaluation modèle utilisant un LLM comme juge

Une tâche d'évaluation de modèle qui utilise un modèle de juge vous permet d'utiliser un modèle LLM de base pour évaluer la réponse de votre modèle, puis expliquer pourquoi une paire prompte et réponse a reçu le score. Les scores et les explications sont disponibles dans le bulletin. Dans le bulletin, vous pouvez voir un histogramme qui indique le nombre de fois qu'une réponse a obtenu un certain score, ainsi que des explications du score pour les cinq premières demandes trouvées dans vos ensembles de données. Les réponses complètes sont disponibles dans le compartiment Amazon S3 qui vous est propre lorsque vous créez la tâche d'évaluation du modèle.

Ce type d'évaluation de modèle nécessite deux modèles différents : un modèle générateur et un modèle évaluateur. Le modèle de générateur répond aux instructions de votre jeu de données. Après avoir répondu, le modèle d'évaluateur note la réponse en fonction des mesures que vous sélectionnez. Chaque métrique donne un score différent et utilise une invite différente pour effectuer le score. Tous les scores sont normalisés lorsqu'ils sont indiqués dans la sortie. Pour voir les instructions utilisées pour la notation, voirGuides de l'évaluateur basées sur un modèle utilisé dans un travail d'évaluation basé sur un modèle basé sur un juge.