Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Leistungsbericht des Modells
Ein SageMaker Amazon-Modellqualitätsbericht (auch als Leistungsbericht bezeichnet) bietet Einblicke und Qualitätsinformationen für den besten Modellkandidaten, der durch einen AutoML-Job generiert wurde. Dazu gehören Informationen über die Auftragsdetails, den Modellproblemtyp, die Zielfunktion und verschiedene Kennzahlen. In diesem Abschnitt wird der Inhalt eines Leistungsberichts für Probleme mit der Textklassifizierung beschrieben und es wird erklärt, wie Sie auf die Kennzahlen als Rohdaten in einer JSON Datei zugreifen können.
Das Amazon S3-Präfix für die Artefakte des Modellqualitätsberichts, die für den besten Kandidaten generiert wurden, finden Sie in der Antwort auf DescribeAutoMLJobV2 unter BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights.
Der Leistungsbericht besteht aus zwei Abschnitten:
-
Der erste Abschnitt enthält Einzelheiten über den Autopilot-Auftrag, bei dem das Modell hergestellt wurde.
-
Der zweite Abschnitt enthält einen Bericht zur Modellqualität mit verschiedenen Leistungskennzahlen.
Einzelheiten des Autopilot-Auftrags
Dieser erste Abschnitt des Berichts enthält einige allgemeine Informationen über den Autopilot-Auftrag, der das Modell hervorgebracht hat. Diese Angaben umfassen die folgenden Informationen:
-
Name des Autopilot-Kandidaten: Der Name des besten Modellkandidaten.
-
Name des Autopilot-Auftrags: Der Name des Auftrags.
-
Problemtyp: Der Problemtyp. In unserem Fall Textklassifizierung.
-
Objektive Metrik: Die objektive Metrik, die zur Optimierung der Leistung des Modells verwendet wird. In unserem Fall Genauigkeit.
-
Optimierungsrichtung: Gibt an, ob die Zielmetrik minimiert oder maximiert werden soll.
Bericht über die Qualität des Modells
Informationen zur Modellqualität werden durch Einblicke in Autopilot-Modelle generiert. Der Inhalt des Berichts, der generiert wird, hängt von der Art des Problems ab, mit dem er sich befasst hat. Der Bericht gibt die Anzahl der Zeilen an, die im Bewertungsdatensatz enthalten waren, und den Zeitpunkt, zu dem die Auswertung stattfand.
Tabellen mit Metriken
Der erste Teil des Modellqualitätsberichts enthält Metriktabellen. Diese sind für die Art des Problems geeignet, das mit dem Modell behoben wurde.
Die folgende Abbildung ist ein Beispiel für eine von Autopilot generierte Metriktabelle für ein Problem mit der Bild- oder Textklassifizierung. Sie zeigt den Namen, den Wert und die Standardabweichung der Metrik.
Informationen zur Leistung grafischer Modelle
Der zweite Teil des Modellqualitätsberichts enthält grafische Informationen, die Ihnen bei der Bewertung der Modellleistung helfen. Der Inhalt dieses Abschnitts hängt vom ausgewählten Problemtyp ab.
Verwechslungsmatrix
Eine Konfusionsmatrix bietet eine Möglichkeit, die Genauigkeit der Vorhersagen zu visualisieren, die von einem Modell für die binäre und die Mehrklassenklassifizierung für verschiedene Probleme getroffen wurden.
Eine Zusammenfassung der in der Grafik enthaltenen Komponenten Falsch-Positiv-Rate (FPR) und True-Positiv-Rate (TPR) ist wie folgt definiert.
-
Richtige Voraussagen
-
Richtig positiv (TP): Der vorausgesagte Wert ist 1, und der richtige Wert ist 1.
-
Richtig negativ (TN): Der vorausgesagte Wert ist 0, und der richtige Wert ist 0.
-
-
Falsche Voraussagen
-
Falsch positiv (FP): Der vorausgesagte Wert ist 1, und der richtige Wert ist 0.
-
Falsch Negative (FN): hat den Wert 0 vorausgesagt, aber der tatsächliche Wert ist 1.
-
Die Konfusionsmatrix im Modellqualitätsbericht enthält Folgendes.
-
Die Anzahl und der Prozentsatz der richtigen und falschen Vorhersagen für die tatsächlichen Labels
-
Die Anzahl und der Prozentsatz der genauen Vorhersagen auf der Diagonale von der oberen linken zur unteren rechten Ecke
-
Die Anzahl und der Prozentsatz der ungenauen Vorhersagen auf der Diagonale von der oberen rechten zur unteren linken Ecke
Die falschen Vorhersagen in einer Konfusionsmatrix sind die Konfusionswerte.
Das folgende Diagramm ist ein Beispiel für eine Konfusionsmatrix für ein Mehrklassen-Klassifizierungsproblem. Die Verwechslungsmatrix im Modellqualitätsbericht enthält Folgendes.
-
Die vertikale Achse ist in drei Zeilen unterteilt, die drei unterschiedliche tatsächliche Bezeichnungen enthalten.
-
Die horizontale Achse ist in drei Spalten unterteilt, die Bezeichnungen enthalten, die vom Modell vorhergesagt wurden.
-
Der Farbbalken weist einer größeren Anzahl von Stichproben einen dunkleren Farbton zu, um die Anzahl der Werte, die in jeder Kategorie klassifiziert wurden, visuell darzustellen.
Im folgenden Beispiel hat das Modell die tatsächlichen 354 Werte für Bezeichnung f, 1094 Werte für Bezeichnung i und 852 Werte für Bezeichnung m korrekt vorhergesagt. Der Unterschied im Ton weist darauf hin, dass der Datensatz nicht ausgewogen ist, da es für den Wert i viel mehr Bezeichnungen gibt als für f oder m.
Die Verwechslungsmatrix im bereitgestellten Modellqualitätsbericht bietet Platz für maximal 15 Bezeichnungen für Problemtypen bei der Mehrklassen-Klassifizierung. Wenn eine Zeile, die einer Bezeichnung entspricht, einen Nan Wert enthält, bedeutet dies, dass der Validierungsdatensatz, der zur Überprüfung der Modellvorhersagen verwendet wurde, keine Daten mit dieser Beschriftung enthält.
