기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Lookout for Vision 모델 개선
학습 중에 Lookout for Vision은 테스트 데이터 세트로 모델을 테스트하고 그 결과를 사용하여 성능 지표를 생성합니다. 성능 지표를 사용하여 모델의 성능을 평가할 수 있습니다. 필요한 경우 데이터 세트를 개선하기 위한 조치를 취한 다음 모델을 재학습할 수 있습니다.
모델의 성능이 만족스러우면 사용을 시작할 수 있습니다. 자세한 내용은 훈련된 Amazon Lookout for Vision 모델 실행 섹션을 참조하세요.
1단계: 모델의 성능 평가
콘솔과 DescribeModel 작업에서 성능 지표에 액세스할 수 있습니다. Amazon Lookout for Vision은 테스트 데이터 세트에 대한 요약 성능 지표와 모든 개별 이미지에 대한 예측 결과를 제공합니다. 모델이 분할 모델인 경우 콘솔에는 각 예외 항목 레이블에 대한 요약 지표도 표시됩니다.
콘솔에서 성능 지표와 테스트 이미지 예측을 보려면 성능 지표 보기 (콘솔)을 참조하십시오. DescribeModel 작업을 통한 성능 지표 및 테스트 이미지 예측에 액세스하는 방법에 대한 자세한 내용은 성능 지표 보기 (SDK)을 참조하십시오.
이미지 분류 지표
Amazon Lookout for Vision은 테스트 중에 모델이 생성하는 분류에 대해 다음과 같은 요약 지표를 제공합니다.
이미지 분할 모델 지표
모델이 이미지 분할 모델인 경우 Amazon Lookout for Vision은 각 예외 항목 레이블에 대한 요약 이미지 분류 지표와 요약 성능 지표를 제공합니다.
정밀도
정밀도 지표는 다음과 같은 질문에 대한 답을 제공합니다. 모델이 이미지에 이상 징후가 포함되어 있다고 예측하면 예측이 얼마나 자주 정확할까요?
정밀도는 오탐으로 인한 비용이 많이 드는 상황에 유용한 지표입니다. 예를 들어, 조립된 기계에서 결함이 없는 기계 부품을 제거하는 데 드는 비용.
Amazon Lookout for Vision은 전체 테스트 데이터 세트에 대한 요약 정밀도 지표 값을 제공합니다.
정밀도는 모든 예측된 변칙 (참 긍정 및 거짓 긍정)에 비해 정확하게 예측된 예외 항목 (참 긍정)의 비율입니다. 정밀도 공식은 다음과 같습니다.
정밀도 값 = 참 긍정/ (참 긍정+거짓 긍정)
가능한 정밀도 값의 범위는 0—1입니다. Amazon Lookout for Vision 콘솔은 정밀도를 백분율 값 (0—100)으로 표시합니다.
정밀도 값이 높을수록 예측된 예외 항목 중 더 많은 부분이 정확하다는 것을 나타냅니다. 예를 들어, 모델이 100개의 이미지가 비정상이라고 예측한다고 가정해 보겠습니다. 예측값 중 85개가 맞고 (참 긍정) 15개가 틀린 경우 (거짓 긍정) 정밀도는 다음과 같이 계산됩니다.
참 긍정 85개/ (참 긍정 85개+거짓 긍정 15개) = 0.85 정밀도 값
그러나 모델이 100개의 예외 항목 예측 중 40개 이미지만 올바르게 예측하는 경우 결과 정밀도 값은 0.40 (즉, 40/(40 + 60) = 0.40)에서 더 낮습니다. 이 경우 모형은 올바른 예측보다 잘못된 예측을 더 많이 합니다. 이 문제를 해결하려면 모델을 개선해 보세요. 자세한 내용은 2단계: 모델 개선 섹션을 참조하세요.
자세한 내용은 정밀도 및 재현율
재현율
재현율 지표는 다음과 같은 질문에 대한 답을 제시합니다. 테스트 데이터 세트에 있는 총 비정상 이미지 수 중 비정상으로 올바르게 예측되는 영상의 수는 몇 개입니까?
재현율 지표는 오탐으로 인한 비용이 많이 드는 상황에 유용합니다. 결함 부품을 제거하지 않는 데 드는 비용이 많이 드는 경우를 예로 들 수 있습니다. Amazon Lookout for Vision은 전체 테스트 데이터 세트에 대한 요약 재현율 지표 값을 제공합니다.
재현율은 비정상적인 테스트 이미지 중 올바르게 탐지된 비율을 나타냅니다. 이는 테스트 데이터 세트의 이미지에 비정상 이미지가 실제로 존재할 때 모델이 얼마나 자주 이를 정확하게 예측할 수 있는지를 나타내는 척도입니다. 재현율 공식은 다음과 같이 계산됩니다.
재현율 값 = 참 긍정/ (참 긍정+오탐)
재현율 범위는 0—1입니다. Amazon Lookout for Vision 콘솔은 재현율을 백분율 값 (0—100)으로 표시합니다.
재현율 값이 높을수록 더 많은 비정상 이미지가 올바르게 식별되었음을 나타냅니다. 예를 들어 테스트 데이터 세트에 100개의 비정상 이미지가 포함되어 있다고 가정해 보겠습니다. 모델이 100개의 비정상 이미지 중 90개를 올바르게 탐지한 경우 재현율은 다음과 같습니다.
참 긍정 90개/ (참 긍정 90개+오탐 10개) = 0.90 재현율
재현율 값이 0.90이면 모델이 테스트 데이터 세트에 있는 대부분의 비정상 이미지를 올바르게 예측하고 있음을 나타냅니다. 모델이 변칙 이미지 중 20개만 정확하게 예측하는 경우 재현율은 0.20 (즉, 20/(20 + 80) = 0.20)로 낮아집니다.
이 경우 모델을 개선하는 것을 고려해야 합니다. 자세한 내용은 2단계: 모델 개선 섹션을 참조하세요.
자세한 내용은 정밀도 및 재현율
F1 점수
Amazon Lookout for Vision은 테스트 데이터 세트에 대한 평균 모델 성능 점수를 제공합니다. 특히, 예외 항목 분류를 위한 모델 성능은 정밀도 및 재현율 점수의 조화 평균인 F1 점수 지표로 측정됩니다.
F1 점수는 정밀도와 재현율을 모두 고려한 집계 측정값입니다. 모델 성능 점수는 0에서 1 사이의 값입니다. 값이 높을수록 재현율과 정밀도 모두에서 모델의 성능이 향상됩니다. 예를 들어 정밀도가 0.9이고 재현율이 1.0인 모델의 경우 F1 점수는 0.947입니다.
예를 들어 정밀도가 0.30이고 재현율이 1.0인 경우와 같이 모델의 성능이 좋지 않은 경우 F1 점수는 0.46입니다. 마찬가지로 정밀도가 높고(0.95) 재현율이 낮으면(0.20) F1 점수는 0.33입니다. 두 경우 모두 F1 점수가 낮으며 이는 모델에 문제가 있음을 나타냅니다.
자세한 내용은 F1 점수
Union (IoU)에 대한 평균 Intersection
테스트 이미지의 예외 항목 마스크와 모델이 테스트 이미지에 대해 예측하는 예외 항목 마스크 간의 평균 백분율 겹침 Amazon Lookout for Vision은 각 예외 항목 레이블에 대한 평균 IOU를 반환하며 이미지 분할 모델에서만 반환됩니다.
백분율 값이 낮으면 모델이 라벨의 예측 마스크를 테스트 이미지의 마스크와 정확하게 일치시키지 않는다는 것을 나타냅니다.
다음 이미지는 IOU가 낮습니다. 주황색 마스크는 모델에서 예측한 것으로, 테스트 이미지의 마스크를 나타내는 파란색 마스크를 완전히 덮지는 않습니다.
다음 이미지는 IOU가 더 높습니다. 파란색 마스크 (테스트 이미지)는 주황색 마스크 (예측 마스크)로 완전히 가려져 있습니다.
결과 테스트
테스트 중에 모델은 테스트 데이터 세트의 각 테스트 이미지에 대한 분류를 예측합니다. 다음과 같이 각 예측 결과를 해당 테스트 영상의 레이블 (정상 또는 변칙)과 비교합니다.
이미지가 비정상이라고 정확하게 예측하는 것은 참 긍정으로 간주됩니다.
이미지가 비정상이라고 잘못 예측하는 것은 false positive로 간주됩니다.
이미지가 정상이라고 정확하게 예측하는 것은 true negative로 간주됩니다.
이미지가 정상이라고 잘못 예측하는 것은 false negative로 간주됩니다.
모델이 분할 모델인 경우 모델은 테스트 영상의 이상 위치에 대한 마스크와 예외 항목 레이블도 예측합니다.
Amazon Lookout for Vision은 비교 결과를 사용하여 성능 지표를 생성합니다.
2단계: 모델 개선
성능 지표는 모델을 개선할 수 있는 것으로 나타날 수 있습니다. 예를 들어, 모델이 테스트 데이터 세트에서 모든 예외를 감지하지 못하면 모델의 재현율이 낮습니다 (즉, 재현율 지표의 값이 낮음). 모델을 개선해야 하는 경우 다음을 고려하세요.
학습 및 테스트 데이터 세트 이미지에 레이블이 제대로 지정되어 있는지 확인하세요.
조명 및 물체 포즈와 같은 이미지 캡처 조건의 가변성을 줄이고 동일한 유형의 객체를 기반으로 모델을 학습시키십시오.
이미지에 필요한 내용만 표시되는지 확인하십시오. 예를 들어 프로젝트에서 기계 부품의 이상을 감지하는 경우 이미지에 다른 물체가 없는지 확인하세요.
레이블이 지정된 이미지를 학습 및 테스트 데이터세트에 더 추가하세요. 테스트 데이터 세트의 재현율과 정밀도가 뛰어나지만 모델을 배포했을 때 성능이 좋지 않은 경우 테스트 데이터 세트를 충분히 대표하지 못하므로 확장해야 할 수 있습니다.
-
테스트 데이터 세트의 재현율 및 정밀도가 떨어지는 경우 학습 데이터 세트와 테스트 데이터 세트의 이상 현상과 이미지 캡처 조건이 얼마나 잘 일치하는지 생각해 보세요. 학습 이미지는 예상된 이상 및 조건을 대표하지 않지만 테스트 이미지의 이미지는 그렇지 않은 경우, 학습 데이터 세트에 예상 이상 및 조건을 포함하는 이미지를 추가하십시오. 테스트 데이터 세트 이미지는 예상한 조건에 맞지 않지만 학습 이미지는 예상한 조건에 속하지 않는 경우 테스트 데이터 세트를 업데이트하세요.
자세한 내용은 더 많은 이미지 추가 섹션을 참조하세요. 레이블이 지정된 이미지를 학습 데이터 세트에 추가하는 또 다른 방법은 시험 탐지 작업을 실행하고 결과를 확인하는 것입니다. 그런 다음 검증된 이미지를 학습 데이터 세트에 추가할 수 있습니다. 자세한 내용은 평가판 확인 작업을 통한 모델 검증 섹션을 참조하세요.
학습 및 테스트 데이터 세트에 충분히 다양한 정상 이미지와 비정상 이미지가 있는지 확인하세요. 이미지는 모델에서 보게 될 정상 이미지와 비정상 이미지의 유형을 나타내야 합니다. 예를 들어, 회로 기판을 분석할 때 일반 이미지는 저항기 및 트랜지스터와 같은 구성 요소의 위치 및 납땜의 변화를 나타내야 합니다. 비정상적인 이미지는 구성 요소가 잘못 배치되거나 누락되는 등 시스템에서 발생할 수 있는 다양한 유형의 이상을 나타내야 합니다.
-
탐지된 이상 유형에 대한 모델의 평균 IOU가 낮은 경우 분할 모델의 마스크 출력을 확인하십시오. 스크래치와 같은 일부 사용 사례의 경우 모델은 테스트 이미지의 실측 스크래치와 매우 비슷하지만 픽셀 중첩은 적은 스크래치를 출력할 수 있습니다. 1픽셀 간격으로 떨어져 있는 두 개의 평행선을 예로 들 수 있습니다. 이러한 경우 평균 IOU는 예측 성공을 측정하는 신뢰할 수 없는 지표입니다.
-
이미지 크기가 작거나 이미지 해상도가 낮으면 더 높은 해상도로 이미지를 캡처하는 것을 고려해 보십시오. 이미지 크기는 64x64픽셀에서 최대 4096픽셀 X 4096픽셀까지 다양합니다.
-
예외 크기가 작은 경우 이미지를 별도의 타일로 나누고 바둑판식으로 배열된 이미지를 학습 및 테스트에 사용하는 것이 좋습니다. 이렇게 하면 모델이 이미지에서 더 큰 크기의 결함을 확인할 수 있습니다.
학습 및 테스트 데이터 세트를 개선한 후에는 모델을 재학습하고 재평가하십시오. 자세한 내용은 모델 학습 섹션을 참조하세요.
측정치를 통해 모델의 성능이 만족스러운 것으로 나타나면 평가판 확인 작업의 결과를 테스트 데이터 세트에 추가하여 모델의 성능을 확인할 수 있습니다. 재학습 후에는 성능 지표가 이전 학습의 성과 지표를 확인해야 합니다. 자세한 내용은 평가판 확인 작업을 통한 모델 검증 섹션을 참조하세요.
