Explicabilidad del modelo

Amazon SageMaker Clarify proporciona herramientas que ayudan a explicar cómo los modelos de aprendizaje automático (ML) hacen predicciones. Estas herramientas pueden ayudar a los modeladores y desarrolladores de ML y a otras partes interesadas internas a comprender las características del modelo en su conjunto antes de la implementación y a depurar las predicciones proporcionadas por el modelo una vez implementado.

La transparencia sobre la forma en que los modelos de ML llegan a sus predicciones también es fundamental para los consumidores y los reguladores. Deben confiar en las predicciones del modelo si van a aceptar las decisiones basadas en ellas. SageMaker Clarify utiliza un enfoque de atribución de características independiente del modelo. Sirve para entender por qué un modelo realizó una predicción después del entrenamiento y para proporcionar una explicación por instancia durante la inferencia. La implementación incluye una implementación escalable y eficiente de. SHAP Esto se basa en el concepto de un valor Shapley, del campo de la teoría de juegos cooperativos, que asigna a cada característica un valor de importancia para una predicción en particular.

Clarify produce gráficos de dependencia parcial (PDPs) que muestran el efecto marginal que tienen las características en el resultado previsto de un modelo de aprendizaje automático. La dependencia parcial ayuda a explicar la respuesta objetivo dado un conjunto de características de entrada. También admite la explicabilidad tanto de la visión artificial (CV) como del procesamiento del lenguaje natural (NLP) mediante el mismo algoritmo de valores de Shapley (SHAP) que se utiliza para las explicaciones de datos tabulares.

¿Cuál es la función de una explicación en el contexto de machine learning? Se puede pensar que una explicación es la respuesta a una pregunta de por qué que ayuda a los humanos a entender la causa de una predicción. En el contexto de un modelo de ML, es posible que le interese responder a preguntas como:

Puede utilizar estas explicaciones para auditar y cumplir los requisitos reglamentarios, generar confianza en el modelo, respaldar la toma de decisiones humana y depurar y mejorar el rendimiento del modelo.

La necesidad de satisfacer las exigencias de la comprensión humana sobre la naturaleza y los resultados de la inferencia de ML es clave para el tipo de explicación necesaria. Las investigaciones de las disciplinas de la filosofía y las ciencias cognitivas han demostrado que las personas se preocupan especialmente por las explicaciones contrastantes, es decir, por qué ocurrió un evento X en lugar de algún otro evento Y que no ocurrió. En este caso, X podría ser un evento inesperado o sorprendente que ocurrió e Y corresponde a una expectativa basada en su modelo mental existente, denominado referencia. Tenga en cuenta que para el mismo evento X, diferentes personas pueden buscar diferentes explicaciones según su punto de vista o modelo mental Y. En el contexto de la IA explicable, puede pensar en X como el ejemplo que se explica e Y como una referencia que normalmente se elige para representar un ejemplo poco informativo o promedio en el conjunto de datos. A veces, por ejemplo, en el caso del modelado de imágenes mediante ML, la referencia puede estar implícita, mientras que una imagen cuyos píxeles son todos del mismo color puede servir como referencia.

Cuadernos de ejemplo

Amazon SageMaker Clarify proporciona el siguiente ejemplo de bloc de notas para explicar el modelo:

Se ha verificado que este portátil solo funciona en Amazon SageMaker Studio. Si necesitas instrucciones sobre cómo abrir un bloc de notas en Amazon SageMaker Studio, consultaCrear o abrir un bloc de notas Amazon SageMaker Studio Classic. Si se le pide que elija un kernel, elija Python 3 (ciencia de datos).