Amazon Fraud Detector steht seit dem 7. November 2025 nicht mehr für Neukunden zur Verfügung. Funktionen, die denen von Amazon Fraud Detector ähneln SageMaker AutoGluon, finden Sie unter Amazon und AWS WAF.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Modellieren Sie Leistungskennzahlen
Nach Abschluss des Modelltrainings validiert Amazon Fraud Detector die Modellleistung anhand von 15% Ihrer Daten, die nicht zum Trainieren des Modells verwendet wurden. Sie können davon ausgehen, dass Ihr trainiertes Amazon Fraud Detector-Modell eine tatsächliche Betrugserkennungsleistung aufweist, die den Leistungskennzahlen bei der Validierung ähnelt.
Als Unternehmen müssen Sie ein Gleichgewicht zwischen der Aufdeckung weiterer Betrugsfälle und der Erhöhung der Probleme bei legitimen Kunden finden. Um Ihnen bei der Auswahl des richtigen Gleichgewichts zu helfen, bietet Amazon Fraud Detector die folgenden Tools zur Bewertung der Modellleistung:
-
Diagramm zur Verteilung der Ergebnisse — Ein Histogramm der Modellverteilungen geht von einer Beispielpopulation von 100.000 Ereignissen aus. Die linke Y-Achse steht für die legitimen Ereignisse und die rechte Y-Achse für die Betrugsereignisse. Sie können einen bestimmten Modellschwellenwert auswählen, indem Sie auf den Diagrammbereich klicken. Dadurch werden die entsprechenden Ansichten in der Konfusionsmatrix und im ROC-Diagramm aktualisiert.
-
Konfusionsmatrix — Fasst die Modellgenauigkeit für einen bestimmten Bewertungsschwellenwert zusammen, indem Modellvorhersagen mit tatsächlichen Ergebnissen verglichen werden. Amazon Fraud Detector geht von einer Beispielpopulation von 100.000 Ereignissen aus. Die Verteilung von Betrugsfällen und legitimen Ereignissen simuliert die Betrugsrate in Ihren Unternehmen.
Wirklich positive Ergebnisse — Das Modell sagt Betrug voraus, und bei dem Ereignis handelt es sich tatsächlich um Betrug.
Falsch positive Ergebnisse — Das Modell prognostiziert Betrug, aber das Ereignis ist tatsächlich legitim.
Echte negative Ergebnisse — Das Modell prognostiziert legitim und das Ereignis ist tatsächlich legitim.
Falsch negative Ergebnisse — Das Modell prognostiziert, dass es sich um ein legitimes Ereignis handelt, aber in Wirklichkeit handelt es sich um Betrug.
-
True Positive Rate (TPR) — Prozentsatz des gesamten Betrugs, den das Modell entdeckt. Wird auch als Erfassungsrate bezeichnet.
-
Falsch-Positiv-Rate (FPR) — Prozentsatz aller legitimen Ereignisse, die fälschlicherweise als Betrug vorhergesagt werden.
-
Receiver Operator Curve (ROC) — Stellt die wahre Positivrate als Funktion der Falsch-Positiv-Rate über alle möglichen Schwellenwerte für die Modellbewertung dar. Sehen Sie sich dieses Diagramm an, indem Sie Erweiterte Metriken auswählen.
-
Fläche unter der Kurve (AUC) — Fasst TPR und FPR für alle möglichen Schwellenwerte für die Modellbewertung zusammen. Ein Modell ohne Vorhersagekraft hat eine AUC von 0,5, wohingegen ein perfektes Modell eine Punktzahl von 1,0 hat.
-
Unsicherheitsbereich — Es zeigt den Bereich der AUC, der vom Modell erwartet wird. Ein größerer Bereich (Unterschied zwischen Ober- und Untergrenze der AUC > 0,1) bedeutet eine höhere Modellunsicherheit. Wenn der Unsicherheitsbereich groß ist (>0,1), sollten Sie erwägen, mehr markierte Ereignisse anzugeben und das Modell erneut zu trainieren.
Um die Leistungsmetriken des Modells zu verwenden
-
Beginnen Sie mit dem Diagramm zur Punkteverteilung, um die Verteilung der Modellwerte für Ihren Betrug und legitime Ereignisse zu überprüfen. Im Idealfall haben Sie eine klare Trennung zwischen Betrug und legitimen Ereignissen. Dies bedeutet, dass das Modell genau erkennen kann, welche Ereignisse betrügerisch und welche legitim sind. Wählen Sie einen Modellschwellenwert aus, indem Sie auf den Diagrammbereich klicken. Sie können sehen, wie sich eine Anpassung des Schwellenwerts für die Modellbewertung auf Ihre Raten für echte positive und falsch positive Ergebnisse auswirkt.
Anmerkung
Das Diagramm zur Verteilung der Ergebnisse stellt den Betrug und die legitimen Ereignisse auf zwei verschiedenen Y-Achsen dar. Die linke Y-Achse steht für die legitimen Ereignisse und die rechte Y-Achse für die Betrugsereignisse.
-
Sehen Sie sich die Konfusionsmatrix an. Je nach dem von Ihnen ausgewählten Schwellenwert für die Modellbewertung können Sie die simulierten Auswirkungen anhand einer Stichprobe von 100.000 Ereignissen sehen. Die Verteilung von Betrugsfällen und legitimen Ereignissen simuliert die Betrugsrate in Ihrem Unternehmen. Verwenden Sie diese Informationen, um das richtige Gleichgewicht zwischen der wahren Positivrate und der Falsch-Positiv-Rate zu finden.
-
Weitere Informationen erhalten Sie unter Erweiterte Kennzahlen. Verwenden Sie das ROC-Diagramm, um die Beziehung zwischen der Rate wahrer positiver Ergebnisse und der Rate falsch positiver Ergebnisse für jeden Schwellenwert für die Modellbewertung zu verstehen. Die ROC-Kurve kann Ihnen dabei helfen, den Kompromiss zwischen der wahren Positiv-Rate und der Falsch-Positiv-Rate zu verfeinern.
Anmerkung
Sie können Metriken auch in Tabellenform überprüfen, indem Sie Tabelle wählen.
In der Tabellenansicht wird auch die metrische Genauigkeit angezeigt. Präzision ist der Prozentsatz der korrekt als betrügerisch vorhergesagten Betrugsereignisse im Vergleich zu allen als betrügerisch vorhergesagten Ereignissen.
-
Ermitteln Sie anhand der Leistungskennzahlen die optimalen Modellschwellenwerte für Ihr Unternehmen auf der Grundlage Ihrer Ziele und des Anwendungsfalls zur Betrugserkennung. Wenn Sie beispielsweise beabsichtigen, das Modell zu verwenden, um neue Kontoregistrierungen entweder als hohes, mittleres oder niedriges Risiko einzustufen, müssen Sie zwei Schwellenwerte ermitteln, damit Sie drei Regelbedingungen wie folgt formulieren können:
-
Werte > X bedeuten ein hohes Risiko
-
Die Werte < X but > Y stehen für ein mittleres Risiko
-
Werte < Y bedeuten ein niedriges Risiko
-
