Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Resultado del entrenamiento del clasificador

Una vez que Amazon Comprehend complete el entrenamiento del modelo de clasificador personalizado, crea los archivos de salida en la ubicación de salida de Amazon S3 que especificó en la CreateDocumentClassifierAPIsolicitud o en la solicitud de consola equivalente.

Amazon Comprehend crea una matriz de confusión cuando entrena un modelo de texto sin formato o un modelo de documento nativo. Puede crear archivos de salida adicionales al entrenar un modelo de documento nativo.

Matriz de confusión

Cuando entrena un modelo de clasificador personalizado, Amazon Comprehend crea una matriz de confusión que proporciona métricas sobre el rendimiento del modelo durante el entrenamiento. Esta matriz muestra una matriz de etiquetas que el modelo predijo, en comparación con las etiquetas reales de los documentos. Amazon Comprehend utiliza una parte de los datos de entrenamiento para crear la matriz de confusión.

Una matriz de confusión proporciona una indicación de qué clases podrían utilizar más datos para mejorar el rendimiento del modelo. Una clase con una alta fracción de predicciones correctas tiene el mayor número de resultados a lo largo de la diagonal de la matriz. Si el número de la diagonal es un número inferior, la clase tiene una fracción menor de predicciones correctas. Puede agregar más ejemplos de entrenamiento para esta clase y volver a entrenar el modelo. Por ejemplo, si el 40 % de las muestras de la etiqueta A se clasifican como la etiqueta D, agregar más muestras para la etiqueta A y la etiqueta D mejora el rendimiento del clasificador.

Una vez que Amazon Comprehend haya creado el modelo de clasificador, la matriz de confusión estará disponible en el archivo confusion_matrix.json de la ubicación de salida de S3.

El formato de la matriz de confusión varía en función de si ha entrenado el clasificador en el modo multiclase o en el modo multietiqueta.

Matriz de confusión para el modo multiclase

En el modo multiclase, las clases individuales se excluyen mutuamente, por lo que la clasificación asigna una etiqueta a cada documento. Por ejemplo, un animal puede ser un perro o un gato, pero no ambos al mismo tiempo.

Considere el siguiente ejemplo de una matriz de confusión para un clasificador entrenado multiclase:

  A B X Y <-(predicted label)
A 1 2 0 4
B 0 3 0 1
X 0 0 1 0
Y 1 1 1 1
^
|
(actual label)  

En este caso, el modelo predijo lo siguiente:

La línea diagonal de la matriz (A:A, B:B, X:X e Y:Y) muestra las predicciones precisas. Los errores de predicción son los valores que se encuentran fuera de la diagonal. En este caso, la matriz muestra las siguientes tasas de error de predicción:

El clasificador devuelve la matriz de confusión en formato de archivo. JSON El siguiente JSON archivo representa la matriz del ejemplo anterior.

{
 "type": "multi_class",
 "confusion_matrix": [
 [1, 2, 0,4],
 [0, 3, 0, 1],
 [0, 0, 1, 0],
 [1, 1, 1, 1]],
 "labels": ["A", "B", "X", "Y"],
 "all_labels": ["A", "B", "X", "Y"]
}   

Matriz de confusión para el modo multietiqueta

En el modo de multietiqueta, la clasificación puede asignar una o más clases a un documento. Considere el siguiente ejemplo de una matriz de confusión para un clasificador entrenado multiclase.

En este ejemplo, hay tres etiquetas posibles: Comedy, Action y Drama. La matriz de confusión multietiqueta crea una matriz de 2x2 para cada etiqueta.

Comedy                   Action                   Drama 
     No Yes                   No Yes                   No Yes   <-(predicted label)                                      
 No  2   1                No  1   1                No  3   0                                                         
Yes  0   2               Yes  2   1               Yes  1   1   
 ^                        ^                        ^
 |                        |                        |
 |-----------(was this label actually used)--------|
    

En este caso, el modelo devolvió lo siguiente para la etiqueta Comedy:

Al igual que en una matriz de confusión multiclase, la línea diagonal de cada matriz muestra las predicciones precisas.

En este caso, el modelo predijo las etiquetas Comedy con una precisión del 80 % de las veces (VP más VN) y las predijo incorrectamente el 20 % de las veces (FP más FN).

El clasificador devuelve la matriz de confusión como un archivo en JSON formato. El siguiente JSON archivo representa la matriz del ejemplo anterior.

{
"type": "multi_label",
"confusion_matrix": [
 [[2, 1],        
 [0, 2]],
 [[1, 1],        
 [2, 1]],      
 [[3, 0],        
 [1, 1]]
], 
"labels": ["Comedy", "Action", "Drama"]
"all_labels": ["Comedy", "Action", "Drama"]
}   

Salidas adicionales para modelos de documentos nativos

Amazon Comprehend puede crear archivos de salida adicionales cuando entrena un modelo de documento nativo.

Salida de Amazon Textract

Si Amazon Comprehend ha invocado Amazon APIs Textract para extraer texto de alguno de los documentos de formación, guarda los archivos de salida de Amazon Textract en la ubicación de salida de S3. Utiliza la siguiente estructura de directorios:

Amazon Comprehend rellena la carpeta de pruebas si ha proporcionado los documentos de prueba en la solicitud. API

Fallos de anotación de documentos

Si hay alguna anotación fallida, Amazon Comprehend crea los siguientes archivos en la ubicación de salida de Amazon S3 (en la carpeta skipped_documents/):

Los archivos de anotaciones fallidas son JSONL archivos con el siguiente formato:

{
     "File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."}
    {"File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."
  }