Metriken und Validierung

Das Verhältnis der Anzahl korrekt klassifizierter Artikel zur Gesamtzahl der (richtig und falsch) klassifizierten Artikel. Es wird sowohl für die binäre als auch für die Mehrklassen-Klassifizierung verwendet. Die Genauigkeit gibt an, wie nahe die vorhergesagten Klassenwerte an den tatsächlichen Werten liegen. Die Werte für Genauigkeitsmetriken variieren zwischen Null (0) und Eins (1). Ein Wert von 1 steht für perfekte Genauigkeit, und 0 steht für perfekte Ungenauigkeit.

Die AUC-Metrik (Bereich unter der Kurve) wird verwendet, um binäre Klassifikationen mithilfe von Algorithmen zu vergleichen und zu bewerten, die Wahrscheinlichkeiten zurückgeben, wie z. B. logistische Regression. Um den Wahrscheinlichkeiten Klassifizierungen zuzuordnen, werden diese mit einem Schwellenwert verglichen.

Die relevante Kurve ist die Betriebskennlinie des Empfängers. In der Kurve wird die Wirklich-Positiv-Rate (TPR) von Voraussagen (oder Recall) im Vergleich zur Falsch-Positiv-Rate (FPR) als Funktion des Schwellenwerts dargestellt, ab dem eine Voraussage als positiv angesehen wird. Eine Erhöhung des Schwellenwerts führt zu weniger falsch positiven Ergebnissen, dafür aber zu mehr falsch negativen Ergebnissen.

AUC ist die Fläche unter der Betriebskennlinie dieses Empfängers. Daher bietet AUC ein aggregiertes Maß für die Modellleistung über alle möglichen Klassifizierungsschwellen hinweg. Die AUC-Werte variieren zwischen 0 und 1. Ein Wert von 1 steht für perfekte Genauigkeit, und ein Wert von einer Hälfte (0,5) bedeutet, dass die Voraussage nicht besser ist als ein zufälliger Klassifikator.

BalancedAccuracy ist eine Metrik, die das Verhältnis von genauen Voraussagen zu allen Voraussagen misst. Dieses Verhältnis wird berechnet, nachdem wirklich positive (TP) und True negative Werte (TN) durch die Gesamtzahl der positiven (P) und negativen (N) Werte normalisiert wurden. Es wird sowohl in der binären als auch in der Mehrklassen-Klassifizierung verwendet und ist wie folgt definiert: 0,5* ((TP/P) + (TN/N)) mit Werten im Bereich von 0 bis 1. BalancedAccuracy bietet ein besseres Maß für die Genauigkeit, wenn die Anzahl der positiven oder negativen Ergebnisse in einem unausgewogenen Datensatz stark voneinander abweicht, z. B. wenn es sich bei nur 1 % der E-Mails um Spam handelt.

Der F1 Wert ist das harmonische Mittel aus Präzision und Erinnerung, wie folgt definiert: F1 = 2 * (Präzision * Erinnerung)/(Präzision + Erinnerung). Es wird für die binäre Klassifikation in Klassen verwendet, die traditionell als positiv und negativ bezeichnet werden. Voraussagen gelten als wahr, wenn sie ihrer tatsächlichen (richtigen) Klasse entsprechen, und als falsch, wenn dies nicht der Fall ist.

Präzision ist das Verhältnis der wirklich positiven Voraussagen zu allen positiven Voraussagen und schließt die falsch positiven Voraussagen in einen Datensatz ein. Mit der Präzision wird die Qualität der Voraussage gemessen, wenn sie die positive Klasse voraussagt.

Der Erinnerungswert (oder die Sensibilität) ist das Verhältnis der wirklich positiven Voraussagen zu allen tatsächlich positiven Instances. Mit dem Erinnerungswert wird gemessen, wie vollständig ein Modell die tatsächlichen Klassenmitglieder in einem Datensatz vorhersagt.

Die F1-Werte variieren zwischen 0 und 1. Ein Wert von 1 steht für die bestmögliche Leistung und 0 für die schlechteste.

Die F1macro Punktzahl wendet die F1-Bewertung auf Mehrklassen-Klassifizierungsprobleme an. Zu diesem Zweck werden die Präzision und der Erinnerungswert berechnet und anschließend anhand ihres harmonischen Mittelwerts der F1-Wert für jede Klasse berechnet. Schließlich werden die Durchschnittswerte der einzelnen Punktzahlen von F1macro gemittelt, um die F1macro Punktzahl zu ermitteln. F1macro Punktzahlen variieren zwischen 0 und 1. Ein Wert von 1 steht für die bestmögliche Leistung und 0 für die schlechteste.

Die Inferenzlatenz ist die ungefähre Zeitspanne zwischen der Anforderung einer Modellvoraussage und deren Empfang von einem Echtzeit-Endpunkt, auf dem das Modell bereitgestellt wird. Diese Metrik wird in Sekunden gemessen und ist nur im Ensembling-Modus verfügbar.

Der Protokollverlust, auch bekannt als Kreuz-Entropie-Verlust, ist eine Metrik, die verwendet wird, um die Qualität der Wahrscheinlichkeitsausgaben und nicht die Ergebnisse selbst zu bewerten. Es wird sowohl in der binären als auch für die Mehrklassen-Klassifizierung und in neuronalen Netzen verwendet. Es ist auch die Kostenfunktion für die logistische Regression. Der Protokollverlust ist eine wichtige Kennzahl, die angibt, wann ein Modell mit hoher Wahrscheinlichkeit falsche Voraussagen trifft. Werte liegen zwischen 0 und unendlich. Ein Wert von 0 steht für ein Modell, das die Daten perfekt vorhersagt.

Der mittlere absolute Fehler (MAE) ist ein Maß dafür, wie unterschiedlich die vorausgesagten und tatsächlichen Werte sind, wenn sie über alle Werte gemittelt werden. MAE wird häufig in der Regressionsanalyse verwendet, um Fehler bei der Modellvoraussage zu verstehen. Liegt eine lineare Regression vor, stellt MAE die durchschnittliche Entfernung zwischen einer vorausgesagten Linie und dem tatsächlichen Wert dar. MAE ist definiert als die Summe der absoluten Fehler geteilt durch die Anzahl der Beobachtungen. Die Werte reichen von 0 bis unendlich. Dabei weisen kleinere Zahlen auf eine bessere Anpassung des Modells an die Daten hin.

Der mittlere quadratische Fehler (MSE) ist der Durchschnitt der quadrierten Differenzen zwischen den vorausgesagten und den tatsächlichen Werten. Er wird für die Regression verwendet. MSE-Werte sind immer positiv. Je besser ein Modell die tatsächlichen Werte vorhersagen kann, desto kleiner ist der MSE-Wert.

Mit der Präzision wird gemessen, wie gut ein Algorithmus unter allen von ihm identifizierten positiven Ergebnissen die wirklich positiven Ergebnisse (TP) voraussagt. Sie ist wie folgt definiert: Präzision = TP/ (TP+FP) mit Werten im Bereich von Null (0) bis Eins (1). Sie wird bei der binären Klassifikation verwendet. Präzision ist eine wichtige Kennzahl, wenn die Kosten eines falsch positiven Ergebnisses hoch sind. Die Kosten eines falsch positiven Ergebnisses sind beispielsweise sehr hoch, wenn ein Flugzeugsicherheitssystem fälschlicherweise als flugsicher eingestuft wird. Ein falsch positives Ergebnis (FP) spiegelt eine positive Voraussage wider, die in den Daten tatsächlich negativ ist.

Das Präzisionsmakro berechnet die Genauigkeit für Mehrklassen-Klassifizierungsprobleme. Zu diesem Zweck wird die Präzision für jede Klasse berechnet und die Ergebnisse werden gemittelt, um die Genauigkeit für mehrere Klassen zu ermitteln. PrecisionMacro Die Werte reichen von Null (0) bis Eins (1). Höhere Werte spiegeln die Fähigkeit des Modells wider, wirklich positive Ergebnisse (TP) aus allen identifizierten positiven Ergebnissen vorauszusagen, wobei der Durchschnitt über mehrere Klassen hinweg berechnet wird.

R ², auch Bestimmtheitskoeffizient genannt, wird in der Regression verwendet, um zu quantifizieren, inwieweit ein Modell die Varianz einer abhängigen Variablen erklären kann. Die Werte reichen von Eins (1) bis negativ Eins (-1). Höhere Werte bedeuten einen höheren Anteil der erklärten Variabilität. R2-Werte nahe Null (0) deuten darauf hin, dass nur ein sehr geringer Teil der abhängigen Variablen durch das Modell erklärt werden kann. Negative Werte deuten auf eine schlechte Anpassung hin und darauf, dass das Modell durch eine konstante Funktion übertroffen wird. Bei linearer Regression ist dies eine horizontale Linie.

Der Erinnerungswert misst, wie gut ein Algorithmus alle wirklich positiven Ergebnisse (TP) in einem Datensatz korrekt voraussagt. Ein wirklich positives Ergebnis ist eine positive Voraussage, die auch einen tatsächlich positiver Wert in den Daten darstellt. Der Erinnerungswert ist wie folgt definiert: Erinnerungswert = TP/ (TP+FN) mit Werten im Bereich von 0 bis 1. Höhere Werte spiegeln die bessere Fähigkeit des Modells wider, wirklich positive Ergebnisse (TP) in den Daten vorauszusagen. Er wird in der binären Klassifikation verwendet.

Beim Testen auf Krebs ist der Erinnerungswert wichtig, da er verwendet wird, um alle wirklich positiven Ergebnisse zu ermitteln. Ein falsch positives Ergebnis (FP) spiegelt eine positive Voraussage wider, die in den Daten tatsächlich negativ ist. Oft reicht es nicht aus, nur den Erinnerungswert zu messen, da die Voraussage jeder Ausgabe als wirklich positiv zu einem perfekten Erinnerungswert führt.

Bei Mehrklassen-Klassifizierungsproblemen berechnet der RecallMacro den Erinnerungswert, indem dieser für jede Klasse berechnet und die Ergebnisse gemittelt werden, um den Erinnerungswert für mehrere Klassen zu ermitteln. RecallMacro Die Werte reichen von 0 bis 1. Höhere Werte spiegeln die Fähigkeit des Modells wider, wirklich positive Ergebnisse (TP) in einem Datensatz vorauszusagen, wohingegen ein wirklich positives Ergebnis eine positive Voraussage widerspiegelt, die auch ein tatsächlich positiver Wert in den Daten ist. Oft reicht es nicht aus, nur den Erinnerungswert zu messen, da die Voraussage jeder Ausgabe als wirklich positiv zu einem perfekten Erinnerungswert führen wird.

Der quadratische Mittelwert (Root Mean Squared Error, RMSE) misst die Quadratwurzel der quadrierten Differenz zwischen vorausgesagten und tatsächlichen Werten und wird über alle Werte gemittelt. Er wird häufig in der Regressionsanalyse verwendet, um Fehler bei der Modellvoraussage zu verstehen. Er ist eine wichtige Kennzahl, die auf das Vorhandensein großer Fehler und Ausreißer im Modell hinweist. Die Werte reichen von Null (0) bis unendlich. Dabei weisen kleinere Zahlen auf eine bessere Anpassung des Modells an die Daten hin. RMSE hängt von der Größenordnung ab und sollte nicht zum Vergleich von Datensätzen unterschiedlicher Größe verwendet werden.