Informe de explicabilidad - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Informe de explicabilidad

Amazon SageMaker Autopilot proporciona un informe de explicabilidad para ayudar a explicar cómo el mejor candidato a modelo hace predicciones para los problemas de clasificación de textos. Este informe puede ayudar a ingenieros de ML, directores de producto y otras partes interesadas internas a comprender las características del modelo. Tanto los consumidores como los reguladores confían en la transparencia del machine learning para confiar en las decisiones tomadas en función de las predicciones del modelo e interpretarlas. Puede utilizar estas explicaciones para auditar y cumplir los requisitos reglamentarios, establecer la confianza en el modelo, respaldar la toma de decisiones y depurar y mejorar el rendimiento del modelo.

La función explicativa de Piloto automático para la clasificación de textos utiliza el método de atribución axiomática Integrated Gradients. Este enfoque se basa en una implementación de Axiomatic Attribution for Deep Network.

El piloto automático genera el informe de explicabilidad como un archivo. JSON El informe incluye detalles del análisis que se basan en el conjunto de datos de validación. Cada muestra utilizada para generar el informe contiene la siguiente información.

  • text: se explica el contenido del texto introducido.

  • token_scores: la lista de puntuaciones de cada token del texto.

    • attribution: la puntuación que muestra la importancia del token.

    • description.partial_text: la subcadena parcial que representa el token.

  • predicted_label: la clase de etiqueta pronosticada por el mejor candidato para el modelo.

  • probability: la confianza con la que se predijo la predicted_label.

Puede encontrar el prefijo Amazon S3 de los artefactos de explicabilidad generados para el mejor candidato en la respuesta a DescribeAutoMLJobV2 en BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability.

Lo que sigue es un ejemplo del contenido de análisis que puede encontrar en los artefactos de explicabilidad.

{
    "text": "It was a fantastic movie!",
    "predicted_label": 2,
    "probability": 0.9984835,
    "token_scores": [
        {
            "attribution": 0,
            "description": {
                "partial_text": "It"
            }
        },
        {
            "attribution": -0.022447118861679088,
            "description": {
                "partial_text": "was"
            }
        },
        {
            "attribution": -0.2164326456817965,
            "description": {
                "partial_text": "a"
            }
        },
        {
            "attribution": 0.675,
            "description": {
                "partial_text": "fantastic"
            }
        },
        {
            "attribution": 0.416,
            "description": {
                "partial_text": "movie!"
            }
        }
    ]
}

En esta muestra del JSON informe, la funcionalidad explicativa evalúa el texto It was a fantastic movie! y puntúa la contribución de cada uno de sus símbolos a la etiqueta global prevista. La etiqueta pronosticada es 2: un sentimiento muy positivo, con una probabilidad del 99,85 %. A continuación, la JSON muestra detalla la contribución de cada token individual a esta predicción. Por ejemplo, el token fantastic tiene una atribución más fuerte que el token was. Es el token que más ha contribuido a la predicción final.