Modellieren Sie Leistungskennzahlen - Amazon Fraud Detector

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modellieren Sie Leistungskennzahlen

Nach Abschluss der Modellschulung validiert Amazon Fraud Detector die Modellleistung anhand von 15% Ihrer Daten, die nicht zum Trainieren des Modells verwendet wurden. Sie können davon ausgehen, dass Ihr trainiertes Amazon Fraud Detector Detector-Modell eine reale Betrugserkennungsleistung aufweist, die den Leistungskennzahlen für die Validierung ähnelt.

Als Unternehmen müssen Sie ein Gleichgewicht zwischen der Aufdeckung von mehr Betrug und der Erhöhung der Kundenzufriedenheit für legitime Kunden finden. Um Ihnen bei der Auswahl des richtigen Gleichgewichts zu helfen, bietet Amazon Fraud Detector die folgenden Tools zur Bewertung der Modellleistung:

  • Diagramm der Punkteverteilung — Ein Histogramm der Modell-Score-Verteilungen geht von einer Beispielpopulation von 100.000 Ereignissen aus. Die linke Y-Achse steht für die legitimen Ereignisse und die rechte Y-Achse für die Betrugsfälle. Sie können einen bestimmten Modellschwellenwert auswählen, indem Sie auf den Diagrammbereich klicken. Dadurch werden die entsprechenden Ansichten in der Konfusionsmatrix und im ROC Diagramm aktualisiert.

  • Konfusionsmatrix — Fasst die Modellgenauigkeit für einen bestimmten Punkteschwellenwert zusammen, indem Modellvorhersagen mit tatsächlichen Ergebnissen verglichen werden. Amazon Fraud Detector geht von einer Beispielpopulation von 100.000 Ereignissen aus. Die Verteilung von Betrug und legitimen Ereignissen simuliert die Betrugsrate in Ihren Unternehmen.

    • Echte positive Ergebnisse — Das Modell sagt Betrug voraus, und das Ereignis ist tatsächlich Betrug.

    • Falsch positive Ergebnisse — Das Modell sagt Betrug voraus, aber das Ereignis ist tatsächlich legitim.

    • Echte negative Ergebnisse — Das Modell sagt voraus, dass es legitim ist, und das Ereignis ist tatsächlich legitim.

    • Falsch negative Ergebnisse — Das Modell sagt ein legitimes Ereignis voraus, in Wirklichkeit handelt es sich jedoch um Betrug.

    • True Positive Rate (TPR) — Prozentsatz des Gesamtbetrugs, den das Modell erkennt. Wird auch als Erfassungsrate bezeichnet.

    • Falsch-Positiv-Rate (FPR) — Prozentsatz aller legitimen Ereignisse, die fälschlicherweise als Betrug prognostiziert wurden.

  • Kurve des Empfänger-Operators (ROC) — Stellt die wahre positive Rate als Funktion der Falsch-Positiv-Rate über allen möglichen Schwellenwerten für die Modellbewertung dar. Wählen Sie „Erweiterte Metriken“, um dieses Diagramm anzuzeigen.

  • Fläche unter der Kurve (AUC) — Fasst alle möglichen Schwellenwerte FPR für die TPR Modellbewertung zusammen. Ein Modell ohne Vorhersagekraft hat einen Wert AUC von 0,5, wohingegen ein perfektes Modell einen Wert von 1,0 hat.

  • Unsicherheitsbereich — Dieser Wert zeigt den vom Modell AUC erwarteten Bereich. Ein größerer Bereich (Unterschied zwischen Ober- und Untergrenze von AUC > 0,1) bedeutet eine höhere Modellunsicherheit. Wenn der Unsicherheitsbereich groß ist (>0,1), sollten Sie erwägen, mehr markierte Ereignisse bereitzustellen und das Modell erneut zu trainieren.

Um die Leistungskennzahlen des Modells zu verwenden

  1. Beginnen Sie mit dem Score-Verteilungsdiagramm, um die Verteilung der Modellwerte für Ihre Betrugsfälle und legitimen Ereignisse zu überprüfen. Im Idealfall sollten Sie eine klare Trennung zwischen Betrug und legitimen Ereignissen vornehmen. Dies bedeutet, dass das Modell genau identifizieren kann, welche Ereignisse betrügerisch und welche legitim sind. Wählen Sie einen Schwellenwert für ein Modell aus, indem Sie auf den Diagrammbereich klicken. Sie können sehen, wie sich die Anpassung des Schwellenwerts für die Modellbewertung auf Ihre tatsächlichen positiven und falsch positiven Raten auswirkt.

    Anmerkung

    Das Diagramm der Punkteverteilung zeigt Betrug und legitime Ereignisse auf zwei verschiedenen Y-Achsen. Die linke Y-Achse steht für die legitimen Ereignisse und die rechte Y-Achse für die Betrugsfälle.

  2. Sehen Sie sich die Konfusionsmatrix an. Abhängig vom ausgewählten Schwellenwert für die Modellbewertung können Sie sich die simulierten Auswirkungen anhand einer Stichprobe von 100.000 Ereignissen ansehen. Die Verteilung von betrügerischen und legitimen Ereignissen simuliert die Betrugsrate in Ihren Unternehmen. Verwenden Sie diese Informationen, um das richtige Gleichgewicht zwischen echter positiver Rate und falsch-positiver Rate zu finden.

  3. Für weitere Informationen wählen Sie Advanced Metrics. Anhand des ROC Diagramms können Sie die Beziehung zwischen der tatsächlichen Positivrate und der Falsch-Positiv-Rate für jeden beliebigen Schwellenwert der Modellbewertung verstehen. Die ROC Kurve kann Ihnen dabei helfen, den Kompromiss zwischen der echten positiven Rate und der falsch positiven Rate zu optimieren.

    Anmerkung

    Sie können Metriken auch in Tabellenform überprüfen, indem Sie Tabelle wählen.

    In der Tabellenansicht wird auch die Metrik Precision angezeigt. Genauigkeit ist der Prozentsatz der Betrugsfälle, die korrekt als betrügerisch vorhergesagt wurden, im Vergleich zu allen als betrügerisch prognostizierten Ereignissen.

  4. Verwenden Sie die Leistungskennzahlen, um die optimalen Modellschwellenwerte für Ihr Unternehmen auf der Grundlage Ihrer Ziele und des Anwendungsfalls zur Betrugserkennung zu ermitteln. Wenn Sie das Modell beispielsweise verwenden möchten, um neue Kontoregistrierungen entweder als hohes, mittleres oder niedriges Risiko einzustufen, müssen Sie zwei Schwellenwerte identifizieren, damit Sie drei Regelbedingungen wie folgt entwerfen können:

    • Werte > X bedeuten ein hohes Risiko

    • Werte < X but > Y stehen für mittleres Risiko

    • Werte < Y stehen für ein niedriges Risiko