사용자 지정 개체 인식기 지표 - Amazon Comprehend
성능 개선

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사용자 지정 개체 인식기 지표

Amazon Comprehend는 개체 인식기가 작업에 얼마나 잘 작동해야 하는지 추정하는 데 도움이 되는 지표를 제공합니다. 인식기 모델 학습을 기반으로 하므로 학습 중 모델의 성능을 정확하게 나타내긴 하지만 개체 검색 중 API 성능의 근사치에 불과합니다.

학습된 개체 인식기의 메타데이터가 반환될 때마다 지표가 반환됩니다.

Amazon Comprehend는 한 번에 최대 25개 항목에 대한 모델 학습을 지원합니다. 학습된 개체 인식기에서 지표가 반환되면 인식기 전체(글로벌 지표)와 개별 개체(개체 지표) 모두에 대해 점수가 계산됩니다.

세 가지 지표를 모두 글로벌 지표와 개체 지표로 사용할 수 습니다.

  • 정밀도

    이는 시스템에서 생성된 개체 중 올바르게 식별되고 올바르게 레이블이 지정된 개체의 비율을 나타냅니다. 이는 모델의 개체 식별이 실제로 올바른 식별이 되는 경우가 얼마나 많은지를 보여줍니다. 이는 총 식별 수치 비율입니다.

    즉, 정밀도는 참양성(tp) 및 거짓양성(fp)을 기반으로 하며 정밀도 = tp/(tp + fp)로 계산됩니다.

    예를 들어, 문서에 개체의 예가 두 개 있지만 실제로는 하나만 있다고 모델이 예측하는 경우 결과는 참양성 1개와 거짓양성 1개입니다. 이 경우 정밀도 = 1/ (1 + 1)입니다. 모델에서 식별한 두 요소 중 한 요소가 정확하므로 정밀도는 50%입니다.

  • 리콜

    이는 문서에 있는 개체 중 시스템에서 올바르게 식별되고 레이블을 지정한 개체의 비율을 나타냅니다. 수학적으로 이것은 올바른 식별의 총 개수(참양성(tp)와 놓친 식별의 총 개수(거짓음성(fn))로 정의됩니다.

    리콜 = tp / (tp + fn)으로 계산됩니다. 예를 들어, 모델이 한 개체를 올바르게 식별했지만 해당 개체가 있는 다른 두 개의 인스턴스를 놓친 경우 결과는 참양성 1개와 거짓음성 2개입니다. 이 경우 리콜은 1/ (1 + 2)입니다. 가능한 세 가지 사례 중 한 개체가 맞기 때문에 리콜은 33.33%입니다.

  • F1 점수

    이는 사용자 지정 개체 인식을 위한 모델의 전체 정확도를 측정하는 정밀도 지표와 리콜 지표의 조합입니다. F1 점수는 정밀도 및 리콜 지표의 조화 평균입니다(F1 = 2 * 정밀도 * 리콜/ (정밀도+리콜).

    참고

    직관적으로 보면 조화 평균은 단순 평균이나 다른 방법보다 극단에 더 큰 영향을 줍니다(예: precision = 0, recall = 1은 가능한 모든 기간을 예측하여 간단하게 달성할 수 있습니다. 여기서 단순 평균은 0.5이지만 F1은 0으로 벌칙을 적용합니다).

    위의 예에서는 precision = 50%이고 recall = 33.33%이므로 F1 = 2 * 0.5 * 0.3333/ (0.5 + 0.3333)입니다. F1 점수는 .3975 또는 39.75% 입니다.

글로벌 및 개별 개체 지표

장소 또는 사람 중 하나인 개체에 대한 다음 문장을 분석하면 글로벌 개체 지표와 개별 개체 지표 간의 관계를 확인할 수 있습니다.

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

이 예제에서 모델은 다음과 같은 예측을 합니다.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

하지만 예측은 다음과 같았어야 합니다.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

이에 대한 개별 개체 지표는 다음과 같습니다.

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

이에 대한 글로벌 지표는 다음과 같습니다.

글로벌:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

사용자 지정 개체 인식기 성능 개선

이러한 지표는 학습된 모델을 사용하여 개체를 식별할 때 학습된 모델이 얼마나 정확하게 수행되는지에 대한 인사이트를 제공합니다. 지표가 예상보다 낮을 경우 지표를 개선하는 데 사용할 수 있는 몇 가지 옵션은 다음과 같습니다.

  1. Annotations 또는 개체 목록(일반 텍스트만 해당)을 사용하는지 여부에 따라 해당 설명서의 지침을 준수하여 데이터 품질을 개선하십시오. 데이터를 개선하고 모델을 재학습한 후 더 나은 지표를 발견하면 데이터 품질을 계속 반복하고 개선하여 모델 성능을 개선할 수 있습니다.

  2. 개체 목록을 사용하는 경우 주석을 대신 사용하는 것이 좋습니다. 수동 주석을 사용하면 결과를 개선할 수 있는 경우가 많습니다.

  3. 데이터 품질 문제가 없는 것이 확실하지만 지표가 여전히 불합리하게 낮은 경우 지원 요청을 제출하세요.