Métricas de reconocedores de entidades personalizados - Amazon Comprehend
Mejora en el rendimiento de

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas de reconocedores de entidades personalizados

Amazon Comprehend le proporciona métricas que le ayudan a estimar qué tan bien debería funcionar un reconocedor de entidades para su trabajo. Se basan en el entrenamiento del modelo de reconocedor y, por lo tanto, si bien representan con precisión el rendimiento del modelo durante el entrenamiento, solo son una aproximación del rendimiento de la API durante el descubrimiento de entidades.

Las métricas se devuelven cada vez que se devuelven los metadatos de un reconocedor de entidades entrenado.

Amazon Comprehend admite el entrenamiento de un modelo en hasta 25 entidades a la vez. Cuando las métricas provienen de un reconocedor de entidades capacitado, las puntuaciones se calculan tanto para el reconocedor en su conjunto (métricas globales) como para cada entidad individual (métricas de entidades).

Hay tres métricas disponibles, tanto globales como de entidad:

  • Precisión

    Esto indica la fracción de entidades producidas por el sistema que están correctamente identificadas y etiquetadas correctamente. Esto muestra cuántas veces la identificación de la entidad del modelo es realmente una buena identificación. Es un porcentaje del número total de identificaciones.

    En otras palabras, la precisión se basa en positivos verdaderos (tp) y falsos positivos (fp) y se calcula como precisión = tp / (tp + fp).

    Por ejemplo, si un modelo predice que hay dos ejemplos de una entidad en un documento, cuando en realidad solo hay uno, el resultado es un positivo verdadero y otro falso positivo. En este caso, precisión = 1 / (1 + 1). La precisión es del 50 %, ya que una de las dos entidades identificadas por el modelo es correcta.

  • Exhaustividad

    Esto indica la fracción de entidades presentes en los documentos que están correctamente identificadas y etiquetadas. Matemáticamente, esto se define en términos del número total de identificaciones correctas positivas verdaderas (tp) y falsas negativas (fn) de las identificaciones omitidas.

    Se calcula como exhaustividad = tp / (tp + fn). Por ejemplo, si un modelo identifica correctamente una entidad, pero omite otras dos instancias en las que esa entidad está presente, el resultado es un positivo verdadero y dos falsos negativos. En este caso, exhaustividad = 1 / (1 + 2). La exhaustividad es del 33,33 %, ya que una de las tres posibles entidades es correcta.

  • Puntuación de F1

    Se trata de una combinación de las métricas de precisión y exhaustividad, que miden la precisión general del modelo para el reconocimiento personalizado de entidades. La puntuación F1 es la media armónica de las métricas de precisión y exhaustividad: F1 = 2 * Precisión * Exhaustividad / (Precisión + Exhaustividad).

    nota

    Intuitivamente, la media armónica penaliza los extremos más que la media simple u otras medias (por ejemplo: precision = 0, recall = 1 se podría lograr de forma trivial prediciendo todos los intervalos posibles. En este caso, el promedio simple sería 0,5, pero F1 le penalizaría con 0).

    En los ejemplos anteriores, precision = 50 % y recall = 33,33 %, por lo tanto F1 = 2 * 0,5 * 0,3333/(0,5 + 0,3333). La puntuación F1 es de .3975, o sea, un 39,75 %.

Métricas de entidades globales e individuales

La relación entre las métricas de entidades globales e individuales se puede ver al analizar la siguiente oración para entidades que son un lugar o una persona

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

En nuestro ejemplo, el modelo hace las siguientes predicciones.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

Sin embargo, las predicciones deberían haber sido las siguientes.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

Las métricas de las entidades individuales para ello serían:

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

Las métricas globales para ello serían:

Global:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

Mejora del rendimiento del reconocedor de entidades personalizado

Estas métricas proporcionan información sobre la precisión con la que funcionará el modelo entrenado cuando se utilice para identificar entidades. Estas son algunas opciones que puede utilizar para mejorar sus métricas si son inferiores a sus expectativas:

  1. En función de si utiliza Annotations o Listas de entidades (solo texto sin formato), asegúrese de seguir las directrices de la documentación correspondiente para mejorar la calidad de los datos. Si observa mejores métricas después de mejorar los datos y volver a entrenar el modelo, puede seguir iterando y mejorando la calidad de los datos para lograr un mejor rendimiento del modelo.

  2. Si utiliza una lista de entidades, considere usar anotaciones en su lugar. Generalmente, las anotaciones manuales pueden mejorar los resultados.

  3. Si está seguro de que no hay ningún problema con la calidad de los datos y, sin embargo, las métricas siguen siendo excesivamente bajas, envíe una solicitud de asistencia.