Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Évaluation et amélioration de vos adaptateurs
Une fois que vous avez terminé le processus de formation et créé votre adaptateur, il est important d'évaluer dans quelle mesure l'adaptateur extrait les informations de vos documents.
Métriques de performances
Trois indicateurs sont fournis dans la console Amazon Textract pour vous aider à analyser les performances de votre adaptateur :
-
Précision - La précision mesure le pourcentage d'informations extraites (prédictions) qui sont correctes. Plus l'indice de précision est élevé, moins il y a de faux positifs.
-
Rappel - Le rappel mesure le pourcentage du total des éléments pertinents identifiés et extraits avec succès par le modèle. Plus la valeur de rappel est élevée, moins il y a de faux négatifs.
-
Score F1 - Le score F1 combine précision et rappel en une seule métrique, fournissant une mesure équilibrée de la précision globale de l'extraction.
Les valeurs de ces mesures sont comprises entre 0 et 1, 1 correspondant à une extraction parfaite.
Ces mesures sont calculées en comparant les extractions de l’adaptateur aux annotations « réalistes » figurant sur le kit de test. En analysant le F1, la précision et le rappel, vous pouvez déterminer les domaines dans lesquels l'adaptateur doit être amélioré.
Par exemple, une faible précision signifie que de nombreuses prédictions du modèle sont des faux positifs, ce qui signifie que l'adaptateur extrait des données non pertinentes. En revanche, une faible valeur de rappel signifie que le modèle ne contient pas de données pertinentes. À l'aide de ces informations, vous pouvez affiner les données d'entraînement et réentraîner l'adaptateur pour améliorer les performances.
Vous pouvez également vérifier les performances de votre modèle en le testant avec les nouveaux documents et requêtes que vous spécifiez. Utilisez l'option Try Adapter de la console pour obtenir des prédictions pour ces documents. Ainsi, vous pouvez évaluer l'adaptateur à l'aide de vos propres requêtes et documents de test et consulter des exemples concrets des performances de l'adaptateur.
Vous pouvez également récupérer les métriques d'une version d'adaptateur en utilisant l'GetAdapterVersionopération à l'aide d'un SDK ou de la CLI. Obtenez la liste des adaptateurs pour lesquels vous souhaitez récupérer des métriques à l'aide de l'opération ListAdapterVersionsd'API. Supprimez un adaptateur dont vous n'avez plus besoin lors de l'DeleteAdapterVersionopération.
Amélioration de votre modèle
Le déploiement de l'adaptateur est un processus itératif, car vous devrez probablement vous réentraîner plusieurs fois pour atteindre votre niveau de précision cible. Après avoir créé et entraîné votre adaptateur, vous devez tester et évaluer les performances de celui-ci sur différentes métriques et requêtes.
Si la précision de votre adaptateur fait défaut dans un domaine, ajoutez de nouveaux exemples de ces documents afin d'améliorer les performances de l'adaptateur pour ces requêtes. Essayez de fournir à l'adaptateur des exemples supplémentaires et variés qui reflètent les cas où il rencontre des difficultés. Fournir à votre adaptateur des documents représentatifs et variés lui permet de traiter divers exemples concrets.
Après avoir ajouté de nouveaux documents à votre kit d'entraînement, réentraînez l'adaptateur. Réévaluez ensuite votre ensemble de tests et vos requêtes. Répétez ce processus jusqu’à ce que l’adaptateur atteigne le niveau de performance souhaité. La précision, le rappel et les scores de F1 devraient progressivement s'améliorer au fil des itérations d'entraînement successives.
