Métricas personalizadas de reconhecimento de entidades - Amazon Comprehend
Aprimorar a performance do

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Métricas personalizadas de reconhecimento de entidades

O Amazon Comprehend fornece métricas para ajudar você a estimar o quão bem um reconhecedor de entidades deve trabalhar em sua tarefa. Eles se baseiam no treinamento do modelo reconhecedor e, portanto, embora representem com precisão o desempenho do modelo durante o treinamento, são apenas uma aproximação do desempenho da API durante a descoberta da entidade.

As métricas são retornadas sempre que os metadados de um reconhecedor de entidades treinado são retornados.

O Amazon Comprehend é compatível com o treinamento de um modelo em até 25 entidades por vez. Quando as métricas são retornadas de um reconhecedor de entidade treinado, os scores são calculados em relação ao reconhecedor como um todo (métricas globais) e para cada entidade individual (métricas da entidade).

Três métricas estão disponíveis, tanto como métricas globais quanto de entidades:

  • Precisão

    Isso indica a fração de entidades produzidas pelo sistema que estão corretamente identificadas e rotuladas corretamente. Isso mostra quantas vezes a identificação da entidade do modelo é realmente uma boa identificação. O número é uma porcentagem total da porcentagem.

    Em outras palavras, a precisão é baseada em verdadeiros positivos (tp) e falsos positivos (fp) e é calculada como precisão = tp/(tp + fp).

    Por exemplo, se um modelo prevê que dois exemplos de uma entidade estão em um documento, onde na verdade há apenas um, o resultado é um verdadeiro positivo e um falso positivo. Nesse caso, precisão = 1/(1 + 1). A precisão é de 50%, pois, das duas entidades identificadas pelo modelo, uma está correta.

  • Recall

    Ela indica a fração de entidades presentes nos documentos que estão corretamente identificados e rotulados pelo sistema. Matematicamente, isso é definido em termos do número total de identificações corretas, positivos verdadeiros (tp) e identificações perdidas, falsos negativos (fn).

    É calculado como recall = tp/(tp + fn). Por exemplo, se um modelo identifica corretamente uma entidade, mas perde duas outras instâncias em que essa entidade está presente, o resultado é um verdadeiro positivo e dois falsos negativos. Nesse caso, lembre-se = 1/(1 + 2). O recall é de 33,33%, pois uma entidade está correta entre os três exemplos possíveis.

  • F1 score

    Essa é uma combinação das métricas de precisão e recall, que mede a precisão geral do modelo para reconhecimento de entidades personalizadas. O F1 score é a média harmônica das métricas de precisão e recall: F1 = 2 * precisão * recall/(precisão + recall).

    nota

    Intuitivamente, a média harmônica penaliza os extremos mais do que a média simples ou outros meios (exemplo: precision = 0, recall = 1 pode ser alcançado trivialmente ao prever todos os intervalos possíveis. Aqui, a média simples seria 0,5, mas o F1 penalizaria como 0).

    Nos exemplos acima, precision = 50% e recall = 33,33%, portanto F1 = 2 * 0,5 * 0,3333/(0,5 + 0,3333). O F1 score é 0,3975, ou 39,75%.

Métricas globais e individuais de entidades

A relação entre métricas de entidades globais e individuais pode ser vista ao analisar a frase a seguir para entidades que são um lugar ou uma pessoa.

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

Em nosso exemplo, o modelo faz as previsões a seguir.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

No entanto, as previsões deveriam ter sido as seguintes.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

As métricas individuais da entidade para isso seriam:

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

As métricas globais para isso seriam:

Global:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

Melhorar o desempenho do reconhecedor de entidade personalizado

Essas métricas fornecem um insight da precisão com que o modelo treinado funcionará quando você o usar para identificar entidades. Aqui estão algumas opções que usadas para melhorar suas métricas se elas estiverem abaixo das suas expectativas:

  1. Dependendo se você usa Anotações ou Listas de entidades (somente texto simples), certifique-se de seguir as diretrizes na respectiva documentação para melhorar a qualidade dos dados. Se observar métricas melhores depois de melhorar seus dados e treinar novamente o modelo, poderá continuar iterando e melhorando a qualidade dos dados para um melhor desempenho.

  2. Se estiver usando uma lista de entidades, considere usar anotações em vez disso. As anotações manuais geralmente podem melhorar seus resultados.

  3. Se tiver certeza de que não há um problema de qualidade de dados e, ainda assim, as métricas permanecerem excessivamente baixas, envie uma solicitação de suporte.