Comprendre les options d'évaluation de grands modèles linguistiques avec SageMaker Clarify - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comprendre les options d'évaluation de grands modèles linguistiques avec SageMaker Clarify

Important

Pour utiliser les évaluations du modèle SageMaker Clarify Foundation, vous devez passer à la nouvelle expérience Studio. Depuis le 30 novembre 2023, l'expérience Amazon SageMaker Studio précédente s'appelle désormais Amazon SageMaker Studio Classic. La fonctionnalité d'évaluation des bases ne peut être utilisée que dans l'expérience mise à jour. Pour plus d'informations sur la mise à jour de Studio, consultezMigration depuis Amazon SageMaker Studio Classic. Pour plus d'informations sur l'utilisation de l'application Studio Classic, consultezAmazon SageMaker Studio classique.

À l'aide d'Amazon SageMaker Clarify, vous pouvez évaluer de grands modèles linguistiques (LLMs) en créant des tâches d'évaluation de modèles. Une tâche d'évaluation de modèles vous permet d'évaluer et de comparer les indicateurs de qualité et de responsabilité des modèles de base basés sur du texte à partir de. JumpStart Les tâches d'évaluation de JumpStart modèles prennent également en charge l'utilisation de modèles déjà déployés sur un terminal.

Vous pouvez créer un modèle de tâche d'évaluation en utilisant trois approches différentes.

  • Créez des tâches d'évaluation de modèle automatisées dans Studio : les tâches d'évaluation automatique de modèle vous permettent d'évaluer rapidement la capacité d'un modèle à exécuter une tâche. Vous pouvez soit fournir votre propre jeu de données de requêtes personnalisé que vous avez pensé pour un cas d’utilisation spécifique, soit utiliser un jeu de données intégré mis à disposition.

  • Créez un modèle de tâches d'évaluation utilisant des travailleurs humains dans Studio — Les tâches d'évaluation de modèles utilisant des travailleurs humains vous permettent d'apporter une contribution humaine au processus d'évaluation du modèle. Il peut s’agir d’employés de votre entreprise ou d’un groupe d’experts, spécialistes de votre secteur d’activité.

  • Créez une tâche d'évaluation de modèle automatisée à l'aide de la fmeval bibliothèque : la création d'une tâche à l'fmevalaide de vous permet de contrôler le plus précisément possible vos tâches d'évaluation de modèles. Il prend également en charge l'utilisation de modèles LLMs externes AWS ou non JumpStart basés provenant d'autres services.

Les tâches d'évaluation de modèles prennent en charge les cas d'utilisation courants LLMs tels que la génération de texte, la classification de texte, les questions et réponses et la synthèse de texte.

  • Génération ouverte — La production de réponses humaines naturelles à un texte qui n'a pas de structure prédéfinie.

  • Résumé du texte — Génération d'un résumé concis et condensé tout en conservant le sens et les informations clés contenus dans un texte plus grand.

  • Réponse aux questions — Génération d'une réponse pertinente et précise à un prompt.

  • Classification — Attribuer une catégorie, telle qu'une étiquette ou une note au texte, en fonction de son contenu.

Les rubriques suivantes décrivent les tâches d’évaluation de modèle disponibles, ainsi que les types de métriques que vous pouvez utiliser. Vous y trouverez également une description des jeux de données intégrés mis à disposition et la procédure à suivre pour spécifier votre propre jeu de données.

Rubriques