Amazon Fraud Detector ya no estará disponible para nuevos clientes a partir del 7 de noviembre de 2025. Para obtener capacidades similares a las de Amazon Fraud Detector SageMaker AutoGluon, explore Amazon y AWS WAF.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Métricas de rendimiento del modelo
Una vez finalizado el entrenamiento del modelo, Amazon Fraud Detector valida el rendimiento del modelo utilizando el 15% de los datos que no se utilizaron para entrenar el modelo. Puede esperar que su modelo capacitado de Amazon Fraud Detector tenga un rendimiento real de detección de fraudes similar al de las métricas de rendimiento de la validación.
Como empresa, debes encontrar un equilibrio entre detectar más fraudes y aumentar la fricción con los clientes legítimos. Para ayudarte a elegir el equilibrio adecuado, Amazon Fraud Detector proporciona las siguientes herramientas para evaluar el rendimiento del modelo:
-
Gráfico de distribución de puntuaciones: un histograma de las distribuciones de puntuación del modelo supone un ejemplo de población de 100 000 eventos. El eje Y de la izquierda representa los eventos legítimos y el eje Y de la derecha representa los eventos de fraude. Puede seleccionar un umbral de modelo específico haciendo clic en el área del gráfico. Esto actualizará las vistas correspondientes en la matriz de confusión y el gráfico ROC.
-
Matriz de confusión: resume la precisión del modelo para un umbral de puntuación determinado comparando las predicciones del modelo con los resultados reales. Amazon Fraud Detector supone un ejemplo de una población de 100 000 eventos. La distribución del fraude y los eventos legítimos simula la tasa de fraude en sus empresas.
Verdaderos aspectos positivos: el modelo predice el fraude y el evento es en realidad un fraude.
Falsos positivos: el modelo predice el fraude, pero el hecho es realmente legítimo.
Verdaderos aspectos negativos: el modelo predice que es legítimo y el evento es realmente legítimo.
Falsos negativos: el modelo predice que es legítimo, pero el hecho es en realidad un fraude.
-
Tasa de verdaderos positivos (TPR): porcentaje del fraude total que detecta el modelo. También conocida como tasa de captura.
-
Tasa de falsos positivos (FPR): porcentaje del total de eventos legítimos que se predicen incorrectamente como fraudes.
-
Curva del operador receptor (ROC): traza la tasa de verdaderos positivos en función de la tasa de falsos positivos en todos los umbrales de puntuación posibles del modelo. Para ver este gráfico, seleccione Métricas avanzadas.
-
Área bajo la curva (AUC): resume el TPR y el FPR en todos los umbrales de puntuación posibles del modelo. Un modelo sin poder predictivo tiene un AUC de 0,5, mientras que un modelo perfecto tiene una puntuación de 1,0.
-
Rango de incertidumbre: muestra el rango de AUC esperado del modelo. Un rango más amplio (diferencia entre los límites superior e inferior del AUC > 0,1) significa una mayor incertidumbre del modelo. Si el rango de incertidumbre es grande (>0,1), considere la posibilidad de proporcionar eventos más etiquetados y volver a entrenar el modelo.
Para usar las métricas de rendimiento del modelo
-
Comience con la tabla de distribución de puntuaciones para revisar la distribución de las puntuaciones de los modelos en relación con sus eventos legítimos y de fraude. Lo ideal es que haya una separación clara entre el fraude y los eventos legítimos. Esto indica que el modelo puede identificar con precisión qué eventos son fraudulentos y cuáles son legítimos. Seleccione el umbral del modelo haciendo clic en el área del gráfico. Puede ver cómo el ajuste del umbral de puntuación del modelo afecta a sus tasas de verdaderos positivos y falsos positivos.
nota
El gráfico de distribución de puntuaciones representa el fraude y los eventos legítimos en dos ejes Y diferentes. El eje Y de la izquierda representa los eventos legítimos y el eje Y de la derecha representa los eventos de fraude.
-
Revise la matriz de confusión. Según el umbral de puntuación del modelo que hayas seleccionado, puedes ver el impacto simulado a partir de una muestra de 100 000 eventos. La distribución del fraude y los eventos legítimos simula la tasa de fraude en sus empresas. Utilice esta información para encontrar el equilibrio adecuado entre la tasa de verdaderos positivos y la tasa de falsos positivos.
-
Para obtener más información, elige Métricas avanzadas. Utilice el gráfico ROC para comprender la relación entre la tasa de verdaderos positivos y la tasa de falsos positivos para cualquier umbral de puntuación de un modelo. La curva ROC puede ayudarlo a ajustar la compensación entre la tasa de verdaderos positivos y la tasa de falsos positivos.
nota
También puedes revisar las métricas en forma de tabla seleccionando Tabla.
La vista de tabla también muestra la precisión métrica. La precisión es el porcentaje de eventos de fraude que se predijeron correctamente como fraudulentos en comparación con todos los eventos pronosticados como fraudulentos.
-
Utilice las métricas de rendimiento para determinar los umbrales de modelo óptimos para sus empresas en función de sus objetivos y de su caso práctico de detección de fraudes. Por ejemplo, si planeas usar el modelo para clasificar los registros de nuevas cuentas como de riesgo alto, medio o bajo, debes identificar dos niveles mínimos para poder establecer las tres condiciones de regla siguientes:
-
Las puntuaciones > X representan un riesgo alto
-
Las puntuaciones < X but > Y son de riesgo medio
-
Las puntuaciones < Y indican un riesgo bajo
-
