Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Evaluación y mejora de sus adaptadores
Una vez que haya terminado el proceso de formación y haya creado el adaptador, es importante evaluar en qué medida el adaptador extrae la información de sus documentos.
Métricas de desempeño
En la consola de Amazon Textract se proporcionan tres métricas para ayudarle a analizar el rendimiento del adaptador:
-
Precisión: la precisión mide el porcentaje de información extraída (predicciones) que es correcta. Cuanto mayor sea el índice de precisión, menos falsos positivos habrá.
-
Recuperación: la recuperación mide el porcentaje del total de elementos relevantes que el modelo identifica y extrae correctamente. Cuanto mayor sea el valor de recuperación, menos falsos negativos habrá.
-
Puntuación F1: la puntuación F1 combina precisión y recuperación en una sola métrica, lo que proporciona una medición equilibrada para una precisión general de extracción.
Los valores de estas mediciones oscilan entre 0 y 1, siendo 1 la extracción perfecta.
Estas métricas se calculan comparando las extracciones del adaptador con las anotaciones de «verdad fundamental» del conjunto de pruebas. Al analizar la F1, la precisión y la recuperación, puede determinar en qué aspectos es necesario mejorar el adaptador.
Por ejemplo, una precisión baja significa que muchas de las predicciones del modelo son falsos positivos, por lo que el adaptador extrae datos irrelevantes. Por el contrario, un valor de recuperación bajo significa que faltan datos relevantes en el modelo. Con esta información, puede refinar los datos de entrenamiento y volver a entrenar el adaptador para aumentar el rendimiento.
También puede comprobar el rendimiento de su modelo probándolo con los nuevos documentos y consultas que especifique. Utilice la opción Probar el adaptador de la consola para obtener predicciones para estos documentos. De esta forma, puede evaluar el adaptador con sus propias consultas y documentos de prueba y ver ejemplos reales del rendimiento del adaptador.
También puede recuperar las métricas de una versión de adaptador mediante la GetAdapterVersionoperación mediante un SDK o la CLI. Obtenga una lista de los adaptadores de los que desee recuperar métricas mediante la operación de ListAdapterVersionsAPI. Elimine un adaptador que ya no necesite con la DeleteAdapterVersionoperación.
Mejorar su modelo
La implementación del adaptador es un proceso iterativo, ya que es probable que tengas que volver a entrenarlo varias veces para alcanzar el nivel de precisión deseado. Después de crear y entrenar el adaptador, querrá probar y evaluar su rendimiento en función de diversas métricas y consultas.
Si la precisión del adaptador es deficiente en alguna área, agrega nuevos ejemplos de esos documentos para aumentar el rendimiento del adaptador en esas consultas. Intente proporcionarle al adaptador ejemplos adicionales y variados que reflejen los casos en los que tiene dificultades. Al proporcionarle al adaptador documentos representativos y variados, podrá gestionar diversos ejemplos del mundo real.
Tras añadir nuevos documentos a su conjunto de formación, vuelva a entrenar el adaptador. A continuación, vuelva a evaluar el conjunto de pruebas y las consultas. Repita este proceso hasta que el adaptador alcance el nivel de rendimiento deseado. La precisión, la memoria y los puntajes de F1 deberían mejorar gradualmente a lo largo de las sucesivas iteraciones de entrenamiento.
