View a markdown version of this page

Metriche delle prestazioni del modello - Amazon Fraud Detector

Amazon Fraud Detector non è più aperto a nuovi clienti a partire dal 7 novembre 2025. Per funzionalità simili a Amazon Fraud Detector, esplora Amazon SageMaker, e AutoGluon. AWS WAF

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Metriche delle prestazioni del modello

Una volta completato l'addestramento del modello, Amazon Fraud Detector convalida le prestazioni del modello utilizzando il 15% dei dati che non sono stati utilizzati per addestrare il modello. Puoi aspettarti che il modello Amazon Fraud Detector addestrato abbia prestazioni di rilevamento delle frodi nel mondo reale simili alle metriche delle prestazioni di convalida.

Come azienda, devi trovare un equilibrio tra il rilevamento di ulteriori frodi e l'aumento delle difficoltà tra i clienti legittimi. Per aiutarti a scegliere il giusto equilibrio, Amazon Fraud Detector fornisce i seguenti strumenti per valutare le prestazioni del modello:

  • Grafico di distribuzione dei punteggi: un istogramma delle distribuzioni dei punteggi del modello presuppone una popolazione di esempio di 100.000 eventi. L'asse Y sinistro rappresenta gli eventi legittimi e l'asse Y destro rappresenta gli eventi di frode. È possibile selezionare una soglia specifica del modello facendo clic sull'area del grafico. Ciò aggiornerà le visualizzazioni corrispondenti nella matrice di confusione e nel grafico ROC.

  • Matrice di confusione: riassume l'accuratezza del modello per una determinata soglia di punteggio confrontando le previsioni del modello con i risultati effettivi. Amazon Fraud Detector presuppone una popolazione di esempio di 100.000 eventi. La distribuzione di frodi ed eventi legittimi simula il tasso di frodi nelle tue aziende.

    • Veri aspetti positivi: il modello prevede le frodi e l'evento è effettivamente una frode.

    • Falsi positivi: il modello prevede una frode, ma l'evento è effettivamente legittimo.

    • Veri aspetti negativi: il modello prevede la legittimità e l'evento è effettivamente legittimo.

    • Falsi negativi: il modello prevede che l'evento sia legittimo, ma in realtà si tratta di una frode.

    • Tasso di veri positivi (TPR): percentuale delle frodi totali rilevate dal modello. Conosciuto anche come tasso di acquisizione.

    • Tasso di falsi positivi (FPR): percentuale del totale degli eventi legittimi erroneamente previsti come frode.

  • Receiver Operator Curve (ROC): traccia il tasso di veri positivi in funzione del tasso di falsi positivi su tutte le possibili soglie di punteggio del modello. Visualizza questo grafico scegliendo Advanced Metrics.

  • Area sotto la curva (AUC): riassume TPR e FPR in tutte le possibili soglie di punteggio del modello. Un modello senza potere predittivo ha un AUC di 0,5, mentre un modello perfetto ha un punteggio di 1,0.

  • Intervallo di incertezza: mostra l'intervallo di AUC previsto dal modello. Un intervallo più ampio (differenza tra il limite superiore e inferiore dell'AUC > 0,1) indica una maggiore incertezza del modello. Se l'intervallo di incertezza è ampio (>0,1), valuta la possibilità di fornire più eventi etichettati e riqualificare il modello.

Per utilizzare le metriche delle prestazioni del modello

  1. Inizia con il grafico di distribuzione dei punteggi per esaminare la distribuzione dei punteggi del modello per i tuoi eventi fraudolenti e legittimi. Idealmente, avrai una chiara separazione tra la frode e gli eventi legittimi. Ciò indica che il modello è in grado di identificare con precisione quali eventi sono fraudolenti e quali sono legittimi. Selezionate una soglia del modello facendo clic sull'area del grafico. Puoi vedere in che modo la modifica della soglia del punteggio del modello influisce sui tassi di veri positivi e falsi positivi.

    Nota

    Il grafico di distribuzione dei punteggi riporta le frodi e gli eventi legittimi su due diversi assi Y. L'asse Y sinistro rappresenta gli eventi legittimi e l'asse Y destro rappresenta gli eventi di frode.

  2. Rivedi la matrice di confusione. A seconda della soglia di punteggio del modello selezionata, è possibile visualizzare l'impatto simulato sulla base di un campione di 100.000 eventi. La distribuzione delle frodi e degli eventi legittimi simula il tasso di frode nelle vostre aziende. Usa queste informazioni per trovare il giusto equilibrio tra tasso di veri positivi e tasso di falsi positivi.

  3. Per ulteriori dettagli, scegli Advanced Metrics. Usa il grafico ROC per comprendere la relazione tra il tasso di veri positivi e il tasso di falsi positivi per qualsiasi soglia di punteggio del modello. La curva ROC può aiutarti a mettere a punto il compromesso tra tasso di veri positivi e tasso di falsi positivi.

    Nota

    Puoi anche rivedere le metriche sotto forma di tabella scegliendo Tabella.

    La visualizzazione della tabella mostra anche la metrica Precisione. La precisione è la percentuale di eventi di frode correttamente previsti come fraudolenti rispetto a tutti gli eventi previsti come fraudolenti.

  4. Utilizza le metriche delle prestazioni per determinare le soglie ottimali del modello per le tue aziende in base ai tuoi obiettivi e al caso d'uso nel rilevamento delle frodi. Ad esempio, se prevedi di utilizzare il modello per classificare le registrazioni di nuovi account come ad alto, medio o basso rischio, devi identificare due punteggi di soglia in modo da poter definire tre condizioni della regola come segue:

    • I punteggi > X sono ad alto rischio

    • I punteggi < X but > Y sono a rischio medio

    • I punteggi < Y sono a basso rischio