사용자 지정 개체 인식기 지표

Amazon Comprehend는 개체 인식기가 작업에 얼마나 잘 작동해야 하는지 추정하는 데 도움이 되는 지표를 제공합니다. 인식기 모델 학습을 기반으로 하므로 학습 중 모델의 성능을 정확하게 나타내긴 하지만 개체 검색 중 API 성능의 근사치에 불과합니다.

학습된 개체 인식기의 메타데이터가 반환될 때마다 지표가 반환됩니다.

Amazon Comprehend는 한 번에 최대 25개 항목에 대한 모델 학습을 지원합니다. 학습된 개체 인식기에서 지표가 반환되면 인식기 전체(글로벌 지표)와 개별 개체(개체 지표) 모두에 대해 점수가 계산됩니다.

세 가지 지표를 모두 글로벌 지표와 개체 지표로 사용할 수 습니다.

글로벌 및 개별 개체 지표

장소 또는 사람 중 하나인 개체에 대한 다음 문장을 분석하면 글로벌 개체 지표와 개별 개체 지표 간의 관계를 확인할 수 있습니다.

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

이 예제에서 모델은 다음과 같은 예측을 합니다.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

하지만 예측은 다음과 같았어야 합니다.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

이에 대한 개별 개체 지표는 다음과 같습니다.

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

이에 대한 글로벌 지표는 다음과 같습니다.

글로벌:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

사용자 지정 개체 인식기 성능 개선

이러한 지표는 학습된 모델을 사용하여 개체를 식별할 때 학습된 모델이 얼마나 정확하게 수행되는지에 대한 인사이트를 제공합니다. 지표가 예상보다 낮을 경우 지표를 개선하는 데 사용할 수 있는 몇 가지 옵션은 다음과 같습니다.