Métricas de sesgo previas al entrenamiento - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas de sesgo previas al entrenamiento

La medición del sesgo en los modelos de ML es un primer paso para mitigarlo. Cada medida del sesgo corresponde a una noción diferente de equidad. Incluso la consideración de conceptos sencillos de equidad puede conducir a muchas medidas diferentes aplicables en diversos contextos. Por ejemplo, consideremos la equidad con respecto a la edad y, para simplificar, consideremos que los dos grupos demográficos pertinentes son los de mediana edad y el resto de los grupos de edad, denominados facetas. En el caso de un modelo de préstamos basado en ML, es posible que deseemos que los préstamos para pequeñas empresas se emitan a un número igual de personas de ambos grupos demográficos. O bien, al procesar las solicitudes de empleo, es posible que deseemos que se contrate al mismo número de miembros de cada grupo demográfico. Sin embargo, este enfoque podría dar por supuesto que un número igual de candidatos de ambos grupos de edad solicitan estos puestos, por lo que es posible que deseemos condicionar el número de candidatos. Además, quizá debamos considerar no si se presenta el mismo número de candidatos, sino si tenemos el mismo número de candidatos cualificados. O bien, podemos considerar que la equidad es una tasa de aceptación igual de candidatos cualificados de ambos grupos de edad, o una tasa de rechazo igual de candidatos, o ambas. Puede utilizar conjuntos de datos con diferentes proporciones de datos sobre los atributos de interés. Este desequilibrio puede desvirtuar la medida de sesgo que elija. Los modelos pueden ser más precisos a la hora de clasificar una faceta que otra. Por lo tanto, debe elegir métricas de sesgo que sean conceptualmente apropiadas para la aplicación y la situación.

Usamos la siguiente notación para analizar las métricas de sesgo. El modelo conceptual que se describe aquí es para la clasificación binaria, donde los eventos se etiquetan como si tuvieran solo dos resultados posibles en su espacio muestral, denominados positivos (con un valor 1) y negativos (con un valor 0). Por lo general, este marco se puede extender a la clasificación multicategoría de forma sencilla o a casos que implican resultados valorados de forma continua, cuando es necesario. En el caso de la clasificación binaria, se asignan etiquetas positivas y negativas a los resultados registrados en un conjunto de datos sin procesar para una faceta favorecida a y para una faceta desfavorecida d. Estas etiquetas y se denominan etiquetas observadas para distinguirlas de las etiquetas predichas y' que asignan un modelo de machine learning durante las etapas de entrenamiento o inferencia del ciclo de vida de ML. Estas etiquetas se utilizan para definir las distribuciones de probabilidad Pa(y) y Pd(y) para sus respectivos resultados de faceta.

  • etiquetas:

    • y representa las n etiquetas observadas para los resultados de los eventos en un conjunto de datos de entrenamiento.

    • y' representa las etiquetas predichas para las n etiquetas observadas en el conjunto de datos por un modelo entrenado.

  • resultados:

    • Un resultado positivo (con un valor de 1) para una muestra, como la aceptación de una solicitud.

      • n(1) es el número de etiquetas observadas para los resultados positivos (aceptaciones).

      • n'(1) es el número de etiquetas predichas para los resultados positivos (aceptaciones).

    • Un resultado negativo (con un valor de 0) para una muestra, como el rechazo de una solicitud.

      • n(0) es el número de etiquetas observadas para los resultados negativos (rechazos).

      • n'(0) es el número de etiquetas predichas para los resultados negativos (rechazos).

  • valores de faceta:

    • faceta a: el valor de la característica que define un grupo demográfico al que favorece el sesgo.

      • na es el número de etiquetas observadas para el valor de faceta favorecida: na = na(1) + na(0) la suma de las etiquetas observadas positivas y negativas para el valor de faceta a.

      • n'a es el número de etiquetas predichas para el valor de faceta favorecida: n'a = n'a(1) + n'a(0) la suma de las etiquetas de resultados predichos positivos y negativos para el valor de faceta a. Observe que n'a = na.

    • faceta d: el valor de la característica que define un grupo demográfico al que desfavorece el sesgo.

      • nd es el número de etiquetas observadas para el valor de faceta desfavorecida: nd = nd(1) + nd(0) la suma de las etiquetas observadas positivas y negativas para el valor de faceta d.

      • n'd es el número de etiquetas predichas para el valor de faceta desfavorecida: n'd = n'd(1) + n'd(0) la suma de las etiquetas de resultados predichos positivos y negativos para el valor de faceta d. Observe que n'd = nd.

  • distribuciones de probabilidad para los resultados de los datos de facetas etiquetadas:

    • Pa(y) es la distribución de probabilidad de las etiquetas observadas para la faceta a. En el caso de los datos con etiquetas binarias, esta distribución viene dada por la relación entre el número de muestras de la faceta a etiquetadas con resultados positivos y el número total, Pa(y1) = na(1)/ na, y la relación entre el número de muestras con resultados negativos y el número total, Pa(y0) = na(0)/ na.

    • Pd(y) es la distribución de probabilidad de las etiquetas observadas para la faceta d. En el caso de los datos con etiquetas binarias, esta distribución viene dada por la relación entre el número de muestras de la faceta d etiquetadas con resultados positivos y el número total, Pd(y1) = nd(1)/ nd, y la relación entre el número de muestras con resultados negativos y el número total, Pd(y0) = nd(0)/ nd.

Los modelos basados en datos sesgados por las disparidades demográficas podrían aprenderlas e incluso exacerbarlas. Para identificar el sesgo en los datos antes de gastar recursos en entrenar modelos sobre ellos, SageMaker Clarify proporciona métricas de sesgo de datos que puede calcular a partir de conjuntos de datos sin procesar antes de entrenarlos. Todas las métricas previas al entrenamiento son independientes del modelo porque no dependen de los resultados del modelo y, por lo tanto, son válidas para cualquier modelo. La primera métrica de sesgo examina el desequilibrio de las facetas, pero no los resultados. Determina en qué medida la cantidad de datos de entrenamiento es representativa en las diferentes facetas, según se desee para la aplicación. Las métricas de sesgo restantes comparan la distribución de las etiquetas de resultados de varias maneras para las facetas a y d de los datos. Las métricas que oscilan sobre valores negativos pueden detectar sesgos negativos. La siguiente tabla contiene una hoja de referencia para obtener una guía rápida y enlaces a las métricas de sesgo previas al entrenamiento.

Métricas de sesgo previas al entrenamiento

Métrica de sesgo Descripción Pregunta de ejemplo Interpretación de los valores de la métrica
Desequilibrio de clases (CI) Mide el desequilibrio en el número de miembros entre los distintos valores de faceta.

¿Podrían existir sesgos basados en la edad por no disponer de suficientes datos demográficos al margen de una faceta de mediana edad?

Rango normalizado: [-1,+1]

Interpretación:

  • Los valores positivos indican que la faceta a tiene más muestras de entrenamiento en el conjunto de datos.

  • Los valores cercanos a cero indican que las facetas están equilibradas en el número de muestras de entrenamiento del conjunto de datos.

  • Los valores negativos indican que la faceta d tiene más muestras de entrenamiento en el conjunto de datos.
Diferencia en las proporciones de las etiquetas () DPL Mide el desequilibrio de los resultados positivos entre los diferentes valores de las facetas. ¿Podrían existir sesgos basados en la edad en las predicciones de ML debido al etiquetado sesgado de los valores de las facetas en los datos?

Rango para etiquetas de facetas binarias y multicategoría normalizadas: [-1,+1]

Rango para etiquetas continuas: (-∞, +∞)

Interpretación:

  • Los valores positivos indican que la faceta a tiene una mayor proporción de resultados positivos.

  • Los valores cercanos a cero indican una proporción más equitativa de resultados positivos entre las facetas.

  • Los valores negativos indican que la faceta d tiene una mayor proporción de resultados positivos.
Divergencia de Kullback-Leibler (KL) Mide en qué medida las distribuciones de resultados de las diferentes facetas divergen entrópicamente entre sí. ¿En qué medida son diferentes las distribuciones de los resultados de las solicitudes de préstamos para los distintos grupos demográficos?

Rango para binario, multicategoría y continuo: [0, +∞)

Interpretación:

  • Los valores cercanos a cero indican que las etiquetas están distribuidas de forma similar.

  • Los valores positivos indican que las distribuciones de las etiquetas son divergentes; cuanto más positivas, mayor es la divergencia.
Divergencia de Jensen-Shannon (JS) Mide en qué medida las distribuciones de resultados de las diferentes facetas divergen entrópicamente entre sí. ¿En qué medida son diferentes las distribuciones de los resultados de las solicitudes de préstamos para los distintos grupos demográficos?

Rango para binario, multicategoría y continuo: [0, +∞)

Interpretación:

  • Los valores cercanos a cero indican que las etiquetas están distribuidas de forma similar.

  • Los valores positivos indican que las distribuciones de las etiquetas son divergentes; cuanto más positivas, mayor es la divergencia.
Norma Lp (LP) Mide una diferencia en la norma p entre distintas distribuciones demográficas de los resultados asociados a distintas facetas de un conjunto de datos. ¿En qué medida son diferentes las distribuciones de los resultados de las solicitudes de préstamos para los distintos grupos demográficos?

Rango para binario, multicategoría y continuo: [0, +∞)

Interpretación:

  • Los valores cercanos a cero indican que las etiquetas están distribuidas de forma similar.

  • Los valores positivos indican que las distribuciones de las etiquetas son divergentes; cuanto más positivas, mayor es la divergencia.
Distancia de variación total () TVD Mide la mitad de la diferencia de la norma L1 entre las distintas distribuciones demográficas de los resultados asociados a distintas facetas de un conjunto de datos. ¿En qué medida son diferentes las distribuciones de los resultados de las solicitudes de préstamos para los distintos grupos demográficos?

Rango para resultados binarios, multicategoría y continuos: [0, +∞)

  • Los valores cercanos a cero indican que las etiquetas están distribuidas de forma similar.

  • Los valores positivos indican que las distribuciones de las etiquetas son divergentes; cuanto más positivas, mayor es la divergencia.
Kolmogorov-Smirnov (KS) Mide la máxima divergencia entre los resultados de las distribuciones para diferentes facetas de un conjunto de datos. ¿Cuáles son los resultados de las solicitudes de ingreso a la universidad que manifiestan las mayores disparidades por grupo demográfico? Rango de valores de KS para resultados binarios, multicategoría y continuos: [0,+1]

  • Los valores cercanos a cero indican que las etiquetas se distribuyeron uniformemente entre las facetas de todas las categorías de resultados.

  • Los valores cercanos a uno indican que las etiquetas de una categoría estaban todas en una sola faceta, es decir, muy desequilibradas.

  • Los valores intermitentes indican los grados relativos del desequilibrio máximo de la etiqueta.
Disparidad demográfica condicional () CDD Mide la disparidad de resultados entre diferentes facetas en su conjunto, pero también por subgrupos. ¿Tienen algunos grupos una mayor proporción de rechazos en los resultados de admisión a la universidad que su proporción de aceptaciones?

Rango deCDD: [-1, +1]

  • Los valores positivos indican un resultado en el que la faceta d se rechaza más que se acepta.

  • Cerca de cero indica que no hay disparidad demográfica en promedio.

  • Los valores negativos indican un resultado en el que la faceta a se rechaza más que se acepta.

Para obtener información adicional sobre las métricas de sesgo, consulte Fairness Measures for Machine Learning in Finance.

Temas