쿠키 기본 설정 선택

당사는 사이트와 서비스를 제공하는 데 필요한 필수 쿠키 및 유사한 도구를 사용합니다. 고객이 사이트를 어떻게 사용하는지 파악하고 개선할 수 있도록 성능 쿠키를 사용해 익명의 통계를 수집합니다. 필수 쿠키는 비활성화할 수 없지만 '사용자 지정' 또는 ‘거부’를 클릭하여 성능 쿠키를 거부할 수 있습니다.

사용자가 동의하는 경우 AWS와 승인된 제3자도 쿠키를 사용하여 유용한 사이트 기능을 제공하고, 사용자의 기본 설정을 기억하고, 관련 광고를 비롯한 관련 콘텐츠를 표시합니다. 필수가 아닌 모든 쿠키를 수락하거나 거부하려면 ‘수락’ 또는 ‘거부’를 클릭하세요. 더 자세한 내용을 선택하려면 ‘사용자 정의’를 클릭하세요.

사용자 지정 개체 인식기 지표

포커스 모드
사용자 지정 개체 인식기 지표 - Amazon Comprehend

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Comprehend는 개체 인식기가 작업에 얼마나 잘 작동해야 하는지 추정하는 데 도움이 되는 지표를 제공합니다. 인식기 모델 학습을 기반으로 하므로 학습 중 모델의 성능을 정확하게 나타내긴 하지만 개체 검색 중 API 성능의 근사치에 불과합니다.

학습된 개체 인식기의 메타데이터가 반환될 때마다 지표가 반환됩니다.

Amazon Comprehend는 한 번에 최대 25개 항목에 대한 모델 학습을 지원합니다. 학습된 개체 인식기에서 지표가 반환되면 인식기 전체(글로벌 지표)와 개별 개체(개체 지표) 모두에 대해 점수가 계산됩니다.

세 가지 지표를 모두 글로벌 지표와 개체 지표로 사용할 수 습니다.

  • 정밀도

    이는 시스템에서 생성된 개체 중 올바르게 식별되고 올바르게 레이블이 지정된 개체의 비율을 나타냅니다. 이는 모델의 개체 식별이 실제로 올바른 식별이 되는 경우가 얼마나 많은지를 보여줍니다. 이는 총 식별 수치 비율입니다.

    즉, 정밀도는 참양성(tp)거짓양성(fp)을 기반으로 하며 정밀도 = tp/(tp + fp)로 계산됩니다.

    예를 들어, 문서에 개체의 예가 두 개 있지만 실제로는 하나만 있다고 모델이 예측하는 경우 결과는 참양성 1개와 거짓양성 1개입니다. 이 경우 정밀도 = 1/ (1 + 1)입니다. 모델에서 식별한 두 요소 중 한 요소가 정확하므로 정밀도는 50%입니다.

  • 리콜

    이는 문서에 있는 개체 중 시스템에서 올바르게 식별되고 레이블을 지정한 개체의 비율을 나타냅니다. 수학적으로 이것은 올바른 식별의 총 개수(참양성(tp)와 놓친 식별의 총 개수(거짓음성(fn))로 정의됩니다.

    리콜 = tp / (tp + fn)으로 계산됩니다. 예를 들어, 모델이 한 개체를 올바르게 식별했지만 해당 개체가 있는 다른 두 개의 인스턴스를 놓친 경우 결과는 참양성 1개와 거짓음성 2개입니다. 이 경우 리콜은 1/ (1 + 2)입니다. 가능한 세 가지 사례 중 한 개체가 맞기 때문에 리콜은 33.33%입니다.

  • F1 점수

    이는 사용자 지정 개체 인식을 위한 모델의 전체 정확도를 측정하는 정밀도 지표와 리콜 지표의 조합입니다. F1 점수는 정밀도 및 리콜 지표의 조화 평균입니다(F1 = 2 * 정밀도 * 리콜/ (정밀도+리콜).

    참고

    직관적으로 보면 조화 평균은 단순 평균이나 다른 방법보다 극단에 더 큰 영향을 줍니다(예: precision = 0, recall = 1은 가능한 모든 기간을 예측하여 간단하게 달성할 수 있습니다. 여기서 단순 평균은 0.5이지만 F1은 0으로 벌칙을 적용합니다).

    위의 예에서는 precision = 50%이고 recall = 33.33%이므로 F1 = 2 * 0.5 * 0.3333/ (0.5 + 0.3333)입니다. F1 점수는 .3975 또는 39.75% 입니다.

글로벌 및 개별 개체 지표

장소 또는 사람 중 하나인 개체에 대한 다음 문장을 분석하면 글로벌 개체 지표와 개별 개체 지표 간의 관계를 확인할 수 있습니다.

John Washington and his friend Smith live in San Francisco, work in San Diego, and own a house in Seattle.

이 예제에서 모델은 다음과 같은 예측을 합니다.

John Washington = Person Smith = Place San Francisco = Place San Diego = Place Seattle = Person

하지만 예측은 다음과 같았어야 합니다.

John Washington = Person Smith = Person San Francisco = Place San Diego = Place Seattle = Place

이에 대한 개별 개체 지표는 다음과 같습니다.

entity: Person True positive (TP) = 1 (because John Washington is correctly predicted to be a Person). False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a Place). False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but is actually a Person). Precision = 1 / (1 + 1) = 0.5 or 50% Recall = 1 / (1+1) = 0.5 or 50% F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50% entity: Place TP = 2 (because San Francisco and San Diego are each correctly predicted to be a Place). FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a Person). FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a Place). Precision = 2 / (2+1) = 0.6667 or 66.67% Recall = 2 / (2+1) = 0.6667 or 66.67% F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or 66.67%

이에 대한 글로벌 지표는 다음과 같습니다.

글로벌:

Global: TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. This is also the sum of all individual entity TP). FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This is the sum of all individual entity FP). FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This is the sum of all individual FN). Global Precision = 3 / (3+2) = 0.6 or 60% (Global Precision = Global TP / (Global TP + Global FP)) Global Recall = 3 / (3+2) = 0.6 or 60% (Global Recall = Global TP / (Global TP + Global FN)) Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% (Global F1Score = 2 * Global Precision * Global Recall / (Global Precision + Global Recall))

사용자 지정 개체 인식기 성능 개선

이러한 지표는 학습된 모델을 사용하여 개체를 식별할 때 학습된 모델이 얼마나 정확하게 수행되는지에 대한 인사이트를 제공합니다. 지표가 예상보다 낮을 경우 지표를 개선하는 데 사용할 수 있는 몇 가지 옵션은 다음과 같습니다.

  1. Annotations 또는 개체 목록(일반 텍스트만 해당)을 사용하는지 여부에 따라 해당 설명서의 지침을 준수하여 데이터 품질을 개선하십시오. 데이터를 개선하고 모델을 재학습한 후 더 나은 지표를 발견하면 데이터 품질을 계속 반복하고 개선하여 모델 성능을 개선할 수 있습니다.

  2. 개체 목록을 사용하는 경우 주석을 대신 사용하는 것이 좋습니다. 수동 주석을 사용하면 결과를 개선할 수 있는 경우가 많습니다.

  3. 데이터 품질 문제가 없는 것이 확실하지만 지표가 여전히 불합리하게 낮은 경우 지원 요청을 제출하세요.

이 페이지에서

프라이버시사이트 이용 약관쿠키 기본 설정
© 2025, Amazon Web Services, Inc. 또는 계열사. All rights reserved.