Wir aktualisieren den Amazon Machine Learning Learning-Service nicht mehr und akzeptieren auch keine neuen Benutzer mehr dafür. Diese Dokumentation ist für bestehende Benutzer verfügbar, wir aktualisieren sie jedoch nicht mehr. Weitere Informationen finden Sie unter Was ist Amazon Machine Learning.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einblicke in Mehrklassen-Modelle
Interpretieren der Voraussagen
Die tatsächliche Ausgabe eines Mehrklassen-Klassifizierungsalgorithmus ist ein Satz von Voraussagepunktzahlen. Die Punktzahl gibt die Gewissheit des Modells an, dass die angegebene Beobachtung zu jeder der Klassen gehört. Im Gegensatz zu binären Klassifizierungsproblemen müssen Sie für Voraussagen keinen Ergebnisgrenzwert auswählen. Die vorhergesagte Antwort ist die Klasse (z. B. Bezeichnung) mit der höchsten vorhergesagten Punktzahl.
Messung der ML-Modellgenauigkeit
Typische Metriken, die in Mehrklassen-Modellen verwendet werden, sind dieselben Metriken, die auch bei der binären Klassifizierung verwendet werden, nachdem über alle Klassen hinweg der Durchschnitt hierfür berechnet wurde. In Amazon ML wird der makrodurchschnittliche F1-Wert verwendet, um die Vorhersagegenauigkeit einer Multiklassen-Metrik zu bewerten.
F1-Bewertung mit Makro-Durchschnitt
Die F1-Bewertung ist eine binäre Klassifizierungsmetrik, die sowohl die binäre Metrikpräzision als auch Rückruf berücksichtigt. Sie ist das harmonische Mittel zwischen Präzision und Rückruf. Der Bereich liegt zwischen 0 und 1. Ein größerer Wert gibt eine bessere Richtigkeit an:
Die F1-Bewertung mit Makro-Durchschnitt ist der nicht gewichtete Durchschnitt der F1-Bewertung über alle Klassen in dem Mehrklassen-Modell. Sie berücksichtigt nicht die Frequenz des Auftretens der Klassen im Auswertungsdatensatz. Ein größerer Wert gibt eine bessere prädiktive Richtigkeit an: Das folgende Beispiel zeigt K Klassen in der Auswertungsdatenquelle:
Grundlegende F1-Bewertung mit Makro-Durchschnitt
Amazon ML bietet eine Basismetrik für Mehrklassenmodelle. Es handelt sich um die F1-Bewertung mit Makro-Durchschnitt für ein hypothetisches Mehrklassen-Modell, das immer die häufigste Klasse als Antwort vorhersagen würde. Wenn Sie beispielsweise das Genre eines Films vorhersagen würden, und das gängigste Genre in Ihren Schulungsdaten ist "Romanze", so würde das grundlegende Modell das Genre immer als "Romanze" vorhersagen. Sie würden das ML-Modell mit dieser Grundlage vergleichen, um auszuwerten, ob das ML-Modell besser als ein ML-Modell ist, das diese konstante Antwort vorhersagt.
Verwenden der Performance-Visualisierung
Amazon ML bietet eine Konfusionsmatrix, um die Genauigkeit von Prognosemodellen zur Klassifizierung mehrerer Klassen zu visualisieren. Die Konfusionsmatrix veranschaulicht in einer Tabelle die Anzahl oder den Prozentwert richtiger und falscher Voraussagen für jede Klasse, indem die vorhergesagte Klasse einer Beobachtung mit der tatsächlichen Klasse verglichen wird.
Wenn Sie beispielsweise versuchen, einen Film in ein Genre zu klassifizieren, sagt das prädiktive Modell möglicherweise hervor, dass das Genre (Klasse) "Romanze" ist. Der tatsächliche Genre ist jedoch möglicherweise "Thriller". Wenn Sie die Genauigkeit eines ML-Modells zur Klassifizierung mehrerer Klassen bewerten, identifiziert Amazon ML diese Fehlklassifizierungen und zeigt die Ergebnisse in der Konfusionsmatrix an, wie in der folgenden Abbildung dargestellt.
Die folgenden Informationen werden in einer Konfusionsmatrix angezeigt:
-
Anzahl richtiger und falscher Voraussagen für jede Klasse: Jede Zeile in der Konfusionsmatrix entspricht den Metriken für eine der tatsächlichen Klassen. In der ersten Zeile wird beispielsweise angezeigt, dass für Filme, die sich eigentlich im Genre "Romanze" befinden, die Voraussagen des Mehrklassen-ML-Modells in über 80 % der Fälle korrekt sind. Das Genre "Thriller" wird in weniger als 20 % der Fälle falsch vorhergesagt, genau wie das Genre "Abenteuer".
-
Klassenweise F1-Bewertung: Die letzte Spalte zeigt die F1-Bewertung für die einzelnen Klassen an.
-
Echte Klassenfrequenzen in den Auswertungsdaten: In der vorletzten Spalte wird angezeigt, dass im Auswertungsdatensatz 57,92 % der Beobachtungen in den Auswertungsdaten unter "Romanze" fallen, 21,23 % unter "Thriller" und 20,85 % unter "Abenteuer".
-
Prognostizierte Klassenhäufigkeiten für die Bewertungsdaten: Die letzte Zeile zeigt die Häufigkeit der einzelnen Klassen in den Vorhersagen. 77,56% der Beobachtungen werden als Romanze, 9,33% als Thriller und 13,12% als Abenteuer vorhergesagt.
Die Amazon ML-Konsole bietet eine visuelle Anzeige für bis zu 10 Klassen in der Konfusionsmatrix, die in der Reihenfolge der häufigsten bis seltensten Klassen in den Bewertungsdaten aufgeführt sind. Wenn Ihre Bewertungsdaten mehr als 10 Klassen enthalten, werden Ihnen die 9 am häufigsten vorkommenden Klassen in der Konfusionsmatrix angezeigt, und alle anderen Klassen werden in einer Klasse namens „Andere“ zusammengefasst. Amazon ML bietet auch die Möglichkeit, die vollständige Konfusionsmatrix über einen Link auf der Seite mit Multiklassen-Visualisierungen herunterzuladen.
