Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Interaktiver Debugger-Bericht für XGBoost
Erhalten Sie vom Debugger automatisch generierte Trainingsberichte. Die Debugger-Berichte bieten Einblicke in Ihre Trainingsaufträge und geben Empfehlungen zur Verbesserung der Leistung Ihres Modells.
Anmerkung
Sie können Debugger-Berichte herunterladen, während Ihr Trainingsauftrag läuft oder nachdem der Auftrag abgeschlossen ist. während des Trainings aktualisiert der Debugger gleichzeitig den Bericht, der den Auswertungsstatus der aktuellen Regeln wiedergibt. Sie können einen vollständigen Debugger-Bericht erst herunterladen, wenn der Trainingsauftrag abgeschlossen ist.
Wichtig
Der Bericht enthält Diagramme und Empfehlungen zu Informationszwecken und sind nicht endgültig. Es liegt in Ihrer Verantwortung, die Informationen eigenständig zu bewerten.
SageMaker Debugger XGBoost-Schulungsbericht
Verwenden Sie für SageMaker XGBoost-Schulungsjobs die CreateXgboostReport Debugger-Regel, um einen umfassenden Trainingsbericht über den Trainingsfortschritt und die Ergebnisse zu erhalten. Geben Sie anhand dieser Anleitung die CreateXgboostReport Regel bei der Erstellung eines XGBoost-Schätzers an, laden Sie den Bericht mithilfe des Amazon SageMaker Python SDK oder der Amazon
Wichtig
Der Bericht enthält Diagramme und Empfehlungen zu Informationszwecken und sind nicht endgültig. Es liegt in Ihrer Verantwortung, die Informationen eigenständig zu bewerten.
Themen
Konstruieren Sie einen SageMaker XGBoost-Schätzer mit der Debugger-XGBoost-Berichtsregel
Die CreateXgboostReport Regel erfasst die folgenden Ausgangstensoren aus Ihrem Trainingsauftrag:
-
hyperparameters
– Speichert im ersten Schritt. -
metrics
– Speichert alle 5 Schritte Verlust und Genauigkeit. -
feature_importance
– Speichert alle 5 Schritte. -
predictions
– Speichert alle 5 Schritte. -
labels
– Speichert alle 5 Schritte.
Die Ausgabetensoren werden in einem Standard-S3-Bucket gespeichert. z. B. s3://sagemaker-
.<region>
-<12digit_account_id>
/<base-job-name>
/debug-output/
Wenn Sie einen SageMaker Schätzer für einen XGBoost-Trainingsjob erstellen, geben Sie die Regel wie im folgenden Beispielcode dargestellt an.
Laden Sie den Debugger XGBoost-Trainingsbericht herunter
Laden Sie den Debugger-XGBoost-Trainingsbericht herunter, während Ihr Trainingsjob läuft oder nachdem der Job mit dem Amazon SageMaker Python SDK
Exemplarische Vorgehensweise zum Debugger XGBoost-Trainingsbericht
In diesem Abschnitt wird das XGBoost-Trainingsbericht zum Debugger beschrieben. Der Bericht wird je nach Ausgabetensor-Regex automatisch aggregiert, wobei erkannt wird, um welche Art von Trainingsauftrag es sich bei der binären Klassifikation, der Mehrklassen-Klassifizierung und der Regression handelt.
Wichtig
Der Bericht enthält Diagramme und Empfehlungen zu Informationszwecken und sind nicht endgültig. Es liegt in Ihrer Verantwortung, die Informationen eigenständig zu bewerten.
Themen
- Verteilung der wahren Beschriftungen des Datensatzes
- Diagramm zwischen Verlust und Schritt
- Wichtigkeit der Feature
- Konfusionsmatrix
- Bewertung der Konfusionsmatrix
- Genauigkeitsrate jedes diagonalen Elements im Laufe der Iteration
- Betriebskennlinie des Empfängers
- Verteilung der Residuen im letzten gespeicherten Schritt
- Absoluter Validierungsfehler pro Beschriftungs-Bin während der Iteration
Verteilung der wahren Beschriftungen des Datensatzes
Dieses Histogramm zeigt die Verteilung der beschrifteten Klassen (zur Klassifizierung) oder Werte (für die Regression) in Ihrem ursprünglichen Datensatz. Schiefe Werte in Ihrem Datensatz können zu Ungenauigkeiten führen. Diese Visualisierung ist für die folgenden Modelltypen verfügbar: binäre Klassifikation, Multiklassifikation und Regression.
![Ein Beispiel für eine Verteilung der wahren Bezeichnungen des Datensatzdiagramms.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-label.png)
Diagramm zwischen Verlust und Schritt
Dies ist ein Liniendiagramm, das den Verlauf des Verlusts von Trainingsdaten und Validierungsdaten während der Trainingsschritte zeigt. Der Verlust entspricht dem, was Sie in Ihrer Zielfunktion definiert haben, z. B. den quadratischen Mittelwert des Fehlers. Anhand dieses Diagramms können Sie abschätzen, ob das Modell über- oder unterangepasst ist. In diesem Abschnitt wird auch das Problem der Überanpassung und Unterausstattung beschrieben. Diese Visualisierung ist für die folgenden Modelltypen verfügbar: binäre Klassifikation, Multiklassifizierung und Regression.
![Ein Beispiel für ein Diagramm zwischen Verlust und Stufe.](images/debugger/debugger-training-xgboost-report-walkthrough-loss-vs-step.png)
Wichtigkeit der Feature
Es stehen drei verschiedene Arten von Visualisierungen der Feature-Wichtigkeit zur Verfügung: Gewicht, Zuwachs und Reichweite. Wir stellen detaillierte Definitionen für jede der drei im Bericht bereit. Visualisierungen der Wichtigkeit von Features helfen Ihnen zu erfahren, welche Features in Ihrem Trainingsdatensatz zu den Vorhersagen beitragen. Visualisierungen der Wichtigkeit von Features sind für die folgenden Modelltypen verfügbar: Binäre Klassifikation, Multiklassifikation und Regression.
![Ein Beispiel für ein Diagramm der Feature-Wichtigkeit.](images/debugger/debugger-training-xgboost-report-walkthrough-feature-importance.png)
Konfusionsmatrix
Diese Visualisierung ist nur für binäre und Mehrklassen-Klassifikationsmodelle anwendbar. Genauigkeit allein reicht möglicherweise nicht aus, um die Leistung des Modells zu bewerten. Für einige Anwendungsfälle, z. B. im Gesundheitswesen und bei der Betrugserkennung, ist es auch wichtig, die Falsch-Positiv-Rate und die Falsch-Negativ-Rate zu kennen. Eine Konfusionsmatrix bietet Ihnen zusätzliche Dimensionen für die Bewertung der Leistung Ihres Modells.
![Ein Beispiel für eine Konfusionsmatrix.](images/debugger/debugger-training-xgboost-report-walkthrough-confusion-matrix.png)
Bewertung der Konfusionsmatrix
In diesem Abschnitt erhalten Sie weitere Einblicke in die Mikro-, Makro- und gewichteten Messwerte für Präzision, Erinnerungsvermögen und F1-Score für Ihr Modell.
![Bewertung der Konfusionsmatrix.](images/debugger/debugger-training-xgboost-report-walkthrough-eval-conf-matrix.png)
Genauigkeitsrate jedes diagonalen Elements im Laufe der Iteration
Diese Visualisierung ist nur für binäre Klassifikations- und Mehrklassen-Klassifizierungsmodelle anwendbar. Dies ist ein Liniendiagramm, in dem die diagonalen Werte in der Konfusionsmatrix während der Trainingsschritte für jede Klasse dargestellt werden. Dieses Diagramm zeigt dir, wie sich die Genauigkeit der einzelnen Klassen im Laufe der Trainingsschritte entwickelt. Anhand dieses Diagramms können Sie die Klassen identifizieren, die schlechter abschneiden.
![Ein Beispiel für die Genauigkeitsrate jedes diagonalen Elements im Vergleich zum Iterationsdiagramm.](images/debugger/debugger-training-xgboost-report-walkthrough-accuracy-rate.gif)
Betriebskennlinie des Empfängers
Diese Visualisierung ist nur auf binäre Klassifikationsmodelle anwendbar. Die Betriebskennlinie des Empfängers wird häufig zur Bewertung der Leistung von binären Klassifikationsmodellen verwendet. Die Y-Achse der Kurve entspricht der True Positive Rate (TPF) und die X-Achse der False-Positiv-Rate (FPR). Im Diagramm wird auch der Wert für die Fläche unter der Kurve (AUC) angezeigt. Je höher der AUC-Wert, desto prädiktiver ist Ihr Klassifikator. Sie können die ROC-Kurve auch verwenden, um den Kompromiss zwischen TPR und FPR zu verstehen und den optimalen Klassifizierungsschwellenwert für Ihren Anwendungsfall zu ermitteln. Der Klassifizierungsschwellenwert kann angepasst werden, um das Verhalten des Modells so zu optimieren, dass mehr Fehler der einen oder anderen Art (FP/FN) reduziert werden.
![Ein Beispiel für ein Diagramm der Betriebskennlinie des Empfängers.](images/debugger/debugger-training-xgboost-report-walkthrough-rec-op-char.png)
Verteilung der Residuen im letzten gespeicherten Schritt
Bei dieser Visualisierung handelt es sich um ein Säulendiagramm, das die Restverteilungen im letzten Schritt zeigt, den der Debugger erfasst. In dieser Visualisierung können Sie überprüfen, ob die Residuenverteilung der Normalverteilung nahe kommt, deren Mittelpunkt bei Null liegt. Wenn die Residuen schief sind, reichen Ihre Features möglicherweise nicht aus, um die Beschriftungen vorherzusagen.
![Ein Beispiel für eine Verteilung der Residuen im Diagramm mit dem zuletzt gespeicherten Schritt.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-residual.png)
Absoluter Validierungsfehler pro Beschriftungs-Bin während der Iteration
Diese Visualisierung gilt nur für Regressionsmodelle. Die tatsächlichen Zielwerte sind in 10 Intervalle aufgeteilt. Diese Visualisierung zeigt in Liniendiagrammen, wie sich die Validierungsfehler für jedes Intervall während der Trainingsschritte entwickeln. Der absolute Validierungsfehler ist der absolute Wert der Differenz zwischen Prognose und Istwert während der Validierung. Anhand dieser Visualisierung können Sie erkennen, welche Intervalle schlechter abschneiden.
![Ein Beispiel für einen absoluten Validierungsfehler pro Beschriftungs-Bin im Iterationsdiagramm.](images/debugger/debugger-training-xgboost-report-walkthrough-val-error-per-label-bin.png)