Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
SageMaker Rapport interactif du débogueur pour XGBoost
Recevez des rapports d'entraînement générés automatiquement par Debugger. Les rapports Debugger fournissent des informations sur vos tâches d'entraînement et suggèrent des recommandations pour améliorer les performances de votre modèle.
Note
Vous pouvez télécharger un rapport Debugger pendant que votre tâche d'entraînement est en cours d'exécution ou une fois la tâche terminée. Pendant l'entraînement, Debugger met à jour le rapport reflétant le statut d'évaluation des règles actuelles. Vous ne pouvez télécharger un rapport Debugger complet qu'une fois la tâche d'entraînement terminée.
Important
Dans le rapport, les diagrammes et les recommandations sont fournis à titre informatif et ne sont pas définitifs. Vous êtes tenu de réaliser votre propre évaluation indépendante des informations.
SageMaker Rapport de formation du Debugger XGBoost
Pour les tâches de formation SageMaker XGBoost, utilisez la CreateXgboostReport règle Debugger pour recevoir un rapport d'entraînement complet sur la progression et les résultats de l'entraînement. En suivant ce guide, spécifiez la CreateXgboostReport règle lors de la création d'un estimateur XGBoost, téléchargez le rapport à l'aide du SDK Amazon SageMaker Python ou de la
Important
Dans le rapport, les diagrammes et les recommandations sont fournis à titre informatif et ne sont pas définitifs. Vous êtes tenu de réaliser votre propre évaluation indépendante des informations.
Rubriques
Construire un estimateur SageMaker XGBoost avec la règle de rapport XGBoost du débogueur
La règle CreateXgboostReport collecte les tenseurs de sortie suivants à partir de votre tâche d'entraînement :
-
hyperparameters
: enregistre à la première étape. -
metrics
: enregistre la perte et la précision toutes les 5 étapes. -
feature_importance
: enregistre toutes les 5 étapes. -
predictions
: enregistre toutes les 5 étapes. -
labels
: enregistre toutes les 5 étapes.
Les tenseurs de sortie sont enregistrés dans un compartiment S3 par défaut. Par exemple, s3://sagemaker-
.<region>
-<12digit_account_id>
/<base-job-name>
/debug-output/
Lorsque vous créez un SageMaker estimateur pour une tâche de formation XGBoost, spécifiez la règle comme indiqué dans l'exemple de code suivant.
Télécharger le rapport d'entraînement XGBoost de Debugger
Téléchargez le rapport de formation Debugger XGBoost pendant que votre tâche de formation est en cours ou une fois celle-ci terminée à l'aide du SDK et AWS Command Line Interface
(CLI) Amazon SageMaker Python
Démonstration du rapport d'entraînement XGBoost de Debugger
Cette section présente le rapport d'entraînement XGBoost de Debugger. Le rapport est automatiquement agrégé en fonction de l'expression régulière du tenseur de sortie. Il reconnait le type de votre tâche d'entraînement parmi la classification binaire, la classification multiclasse et la régression.
Important
Dans le rapport, les diagrammes et les recommandations sont fournis à titre informatif et ne sont pas définitifs. Vous êtes tenu de réaliser votre propre évaluation indépendante des informations.
Rubriques
- Distribution des étiquettes True du jeu de données
- Diagramme Perte contre Étape
- Importance des fonctions
- Matrice Confusion
- Évaluation de la matrice Confusion
- Taux de précision de chaque élément diagonal par rapport à l'itération
- Courbe caractéristique de fonctionnement du récepteur
- Distribution des résidus à la dernière étape enregistrée
- Erreur de validation absolue par groupe d'étiquettes sur itération
Distribution des étiquettes True du jeu de données
Cet histogramme montre la distribution des classes étiquetées (pour la classification) ou des valeurs (pour la régression) dans votre jeu de données d'origine. L'asymétrie de votre jeu de données peut contribuer à des inexactitudes. Cette visualisation est disponible pour les types de modèles suivants : classification binaire, multiclassification et régression.
![Exemple de distribution d'étiquettes True du diagramme du jeu de données.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-label.png)
Diagramme Perte contre Étape
Il s'agit d'un graphique linéaire qui montre la progression de la perte sur les données d'entraînement et les données de validation tout au long des étapes d'entraînement. La perte est ce que vous avez défini dans votre fonction objective, comme une erreur quadratique moyenne. Vous pouvez évaluer si le modèle est trop ajusté ou inadapté à partir de ce diagramme. Cette section fournit également des informations que vous pouvez utiliser pour déterminer comment résoudre les problèmes de surajustement et de sous-ajustement. Cette visualisation est disponible pour les types de modèles suivants : classification binaire, multiclassification et régression.
![Exemple de diagramme Perte contre Étape.](images/debugger/debugger-training-xgboost-report-walkthrough-loss-vs-step.png)
Importance des fonctions
Il existe trois différents types de visualisations de l'importance des fonctions : Weight (Pondération), Gain et Coverage (Couverture). Le rapport contient des définitions détaillées pour chacune des trois fonctions. Les visualisations de l'importance des fonctions vous aident à déterminer quelles fonctions de votre jeu de données d'entraînement ont contribué aux prédictions. Les visualisations de l'importance des fonctions sont disponibles pour les types de modèles suivants : classification binaire, multiclassification et régression.
![Exemple de graphique d'importance des fonctions.](images/debugger/debugger-training-xgboost-report-walkthrough-feature-importance.png)
Matrice Confusion
Cette visualisation s'applique uniquement aux modèles de classification binaires et multiclasses. La précision à elle seule peut ne pas suffire à évaluer les performances du modèle. Pour certains cas d'utilisation, comme les soins de santé et la détection de fraude, il est également important de connaître le taux de faux positifs et le taux de faux négatifs. Une matrice Confusion vous donne les dimensions supplémentaires pour évaluer les performances de votre modèle.
![Exemple de matrice Confusion.](images/debugger/debugger-training-xgboost-report-walkthrough-confusion-matrix.png)
Évaluation de la matrice Confusion
Cette section vous fournit plus d'informations sur les métriques micro, macro et pondérées en matière de précision, de rappel et de score F1 pour votre modèle.
![Évaluation de la matrice Confusion.](images/debugger/debugger-training-xgboost-report-walkthrough-eval-conf-matrix.png)
Taux de précision de chaque élément diagonal par rapport à l'itération
Cette visualisation s'applique uniquement aux modèles de classification binaires et multiclasses. Il s'agit d'un graphique linéaire qui trace les valeurs diagonales de la matrice Confusion tout au long des étapes d'entraînement pour chaque classe. Ce graphique vous montre comment la précision de chaque classe progresse tout au long des étapes d'entraînement. Vous pouvez identifier les classes sous-performantes à partir de ce diagramme.
![Exemple de taux de précision de chaque élément diagonal par rapport au graphique d'itération.](images/debugger/debugger-training-xgboost-report-walkthrough-accuracy-rate.gif)
Courbe caractéristique de fonctionnement du récepteur
Cette visualisation s'applique uniquement aux modèles de classification binaire. La courbe de caractéristique de fonctionnement du récepteur est communément utilisée pour évaluer les performances du modèle de classification binaire. L'axe des y de la courbe représente le taux de vrais positifs et l'axe des x représente le taux de faux positif. Le graphique affiche également la valeur de la zone sous la courbe. Plus la valeur de la zone sous la courbe est élevée, plus votre classificateur est prédictif. Vous pouvez également utiliser la courbe de caractéristique de fonctionnement du récepteur pour comprendre le compromis entre le taux de vrais positifs et le taux de faux positifs et identifier le seuil de classification optimal pour votre cas d'utilisation. Le seuil de classification peut être modifié pour ajuster le comportement du modèle et ainsi réduire plus d'un ou un autre type d'erreur (FP/FN).
![Exemple de graphique de courbe de caractéristique de fonctionnement du récepteur.](images/debugger/debugger-training-xgboost-report-walkthrough-rec-op-char.png)
Distribution des résidus à la dernière étape enregistrée
Cette visualisation est un graphique en colonnes qui montre les distributions résiduelles dans la dernière étape capturée par Debugger. Dans cette visualisation, vous pouvez vérifier si la distribution résiduelle est proche de la distribution normale, centrée sur zéro. Si les valeurs résiduelles sont biaisées, il se peut que vos fonctions ne soient pas suffisantes pour prédire les étiquettes.
![Exemple de distribution de valeurs résiduelles au dernier graphique d'étape enregistré.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-residual.png)
Erreur de validation absolue par groupe d'étiquettes sur itération
Cette visualisation s'applique uniquement aux modèles de régression. Les valeurs cibles réelles sont divisées en 10 intervalles. Cette visualisation montre comment les erreurs de validation progressent pour chaque intervalle tout au long des étapes d'entraînement à travers un tracé linéaire. L'erreur de validation absolue est la valeur absolue de la différence entre la prédiction et la valeur réelle pendant la validation. Vous pouvez identifier les intervalles sous-performants à partir de cette visualisation.
![Exemple d'erreur de validation absolue par groupe d'étiquettes sur graphique d'itération.](images/debugger/debugger-training-xgboost-report-walkthrough-val-error-per-label-bin.png)