Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Résumé du texte pour l'évaluation du modèle dans Amazon Bedrock
Le résumé de texte est utilisé pour certaines tâches comme la création de résumés d’information, de documents juridiques, d’articles universitaires, d’aperçus de contenu et de compilation de contenu. La qualité des réponses peut être influencée par l’ambiguïté, la cohérence, le biais et la fluidité du texte ayant servir à entraîner le modèle, tout comme la perte, la précision, la pertinence ou l’inadéquation contextuelle des informations.
Important
En ce qui concerne le résumé du texte, il existe un problème connu du système qui empêche les modèles Cohere de mener à bien l'évaluation de la toxicité.
Le jeu de données intégré suivant est compatible avec le type de tâche de synthèse des tâches.
- Gigaword
-
Le jeu de données Gigaword comprend les titres d'articles de presse. Ce jeu de données est utilisé dans les tâches de résumé de texte.
Le tableau suivant offre un résumé des métriques calculées et du jeu de données intégré recommandé. Pour spécifier correctement les ensembles de données intégrés disponibles à l'aide du AWS CLI, ou un support AWS SDKutilisez les noms des paramètres dans la colonne Ensembles de données intégrés (API).
| Type de tâche | Métrique | Ensembles de données intégrés (console) | Ensembles de données intégrés () API | Métrique calculée |
|---|---|---|---|---|
| Synthèse de texte | Précision | Gigaword |
Builtin.Gigaword |
BERTScore |
| Toxicité | Gigaword |
Builtin.Gigaword |
Toxicité | |
| Robustesse | Gigaword |
Builtin.Gigaword |
BERTScoreet deltaBERTScore |
Pour en savoir plus sur le mode de calcul de la métrique pour chaque jeu de données intégré, consultez Consultez les rapports de travail et les statistiques d'évaluation des modèles dans Amazon Bedrock
