Exigences relatives aux ensembles de données instantanés personnalisés dans les tâches d'évaluation de modèles faisant appel à des travailleurs humains

Pour créer une tâche d'évaluation de modèle utilisant des travailleurs humains, vous devez spécifier un jeu de données rapide. Les instructions sont ensuite utilisées lors de l'inférence avec le modèle que vous sélectionnez pour évaluer.

Vous devez créer un jeu de données d'invite personnalisé dans les tâches d'évaluation d'un modèle faisant appel à des travailleurs humains. Les jeux de données de requêtes personnalisés doivent être stockés dans Amazon S3 et utiliser le format de ligne JSON et l’extension de fichier .jsonl. Chaque ligne doit être un objet JSON valide. Votre jeu de données peut contenir jusqu’à 1 000 requêtes par tâche d’évaluation automatique.

Une entrée d'invite valide doit contenir la prompt clé. Les deux category referenceResponse sont facultatifs. Utilisez la clé category pour associer votre requête à une catégorie spécifique, laquelle vous permettra de filtrer les résultats pendant leur examen dans le bulletin d’évaluation du modèle. Utilisez la clé referenceResponse pour spécifier la réponse de vérité terrain à laquelle vos travailleurs peuvent faire référence pendant l’évaluation.

Dans l’interface utilisateur des travailleurs, ce que vous spécifiez pour prompt et referenceResponse est visible de vos travailleurs humains.

Pour les tâches créées à l'aide de la console, vous devez mettre à jour la configuration CORS (Cross Origin Resource Sharing) sur le compartiment S3. Pour en savoir plus sur les autorisations CORS nécessaires, consultez Autorisations CORS (Cross Origin Resource Sharing) requises sur les compartiments S3.

Voici un exemple de jeu de données personnalisé qui contient 6 entrées et utilise le format de ligne JSON.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

L’exemple suivant est une entrée unique développée dans un souci de clarté

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}