더 이상 Amazon Machine Learning 서비스를 업데이트하거나 새 사용자를 받지 않습니다. 이 설명서는 기존 사용자에 제공되지만 더 이상 업데이트되지 않습니다. 자세한 내용은 Amazon Machine Learning이란? 단원을 참조하세요.

바이너리 모델 인사이트

예측 해석

많은 바이너리 분류 알고리즘의 실제 출력은 예측 점수입니다. 점수는 주어진 관측치가 긍정 클래스에 속한다는 시스템의 확실성을 나타냅니다(실제 목표 값은 1입니다). 바이너리 분류 모델은 0에서 1 범위의 점수를 출력합니다. 이 점수의 소비자는 관측치를 1로 분류할지 또는 0으로 분류할 지를 결정하기 위해 분류 임계값 또는 커트라인을 선택하여 점수를 해석하고 점수를 이 값과 비교합니다. 커트라인보다 점수가 높은 관측치는 대상= 1로 예측되고, 커트라인보다 점수가 낮으면 대상= 0으로 예측됩니다.

Amazon ML에서 기본 점수 커트라인은 0.5입니다. 비즈니스 요구 사항에 맞게 이 커트라인을 업데이트하도록 선택할 수 있습니다. 콘솔의 시각화를 사용하면 커트라인 선택이 애플리케이션에 어떤 영향을 미치는지 이해할 수 있습니다.

ML 모델 정확도 측정

Amazon ML은 (수신기 작동 특성) 곡선하면적(AUC)이라는 바이너리 분류 모델에 대한 업계 표준 정확도 지표를 제공하고 있습니다. AUC에서는 부정적인 사례보다 긍정적인 사례에 대해 더 높은 점수를 예측하는 모델의 기능을 측정합니다. 점수 커트라인과 무관하므로 임계값을 지정하지 않고도 AUC 지표에서 모델의 예측 정확도를 파악할 수 있습니다.

AUC 지표에서는 0 ~ 1의 십진수 값을 반환합니다. AUC 값이 1에 가까우면 정확성이 높은 ML 모델을 가리킵니다. 값이 0.5에 가까우면 무작위로 추측하는 것보다 나을 것이 없는 ML 모델을 가리킵니다. 0에 가까운 값은 보기 드문 것으로, 일반적으로 데이터에 문제가 있음을 나타냅니다. 기본적으로 AUC가 0에 가까우면 ML 모델이 올바른 패턴을 학습했지만 이를 사용하여 현실과 다른 예측을 하고 있다는 의미입니다(‘0’이 ‘1’로 예측되거나 그 반대의 경우도 마찬가지임). AUC에 대한 자세한 내용은 Wikipedia의 수신기 작동 특성 페이지를 참조하세요.

바이너리 모델의 기준 AUC 지표는 0.5입니다. 이 값은 1 또는 0 답을 무작위로 예측하는 가상 ML 모델의 값입니다. 바이너리 ML 모델의 성능이 이 값보다 좋아야 가치를 인정받기 시작할 수 있습니다.

성능 시각화 사용

ML 모델의 정확성을 살펴보려면 Amazon ML 콘솔의 평가 페이지의 그래프를 검토하면 됩니다. 이 페이지에는 다음 두 가지 히스토그램이 나와 있습니다. a) 실제 긍정 점수 히스토그램(대상이 1)이고 다른 하나는 b) 평가 데이터의 실제 부정 점수 히스토그램(대상이 0)입니다.

예측 정확도가 양호한 ML 모델은 실제 1에 더 높은 점수를 예측하고 실제 0에 더 낮은 점수를 예측합니다. 완벽한 모델이라면 x축의 서로 다른 두 끝에 두 개의 히스토그램을 표시하여 실제 긍정은 모두 높은 점수를, 실제 부정은 모두 낮은 점수를 받았음을 보여줄 것입니다. 하지만 ML 모델도 실수를 하기 때문에 일반적인 그래프를 보면 두 히스토그램이 특정 점수에서 겹치는 것을 볼 수 있습니다. 성능이 매우 낮은 모델은 긍정 클래스와 부정 클래스를 구분하지 못하고 두 클래스 모두 히스토그램이 대부분 겹칩니다.

시각화를 사용하면 두 가지 유형의 올바른 예측과 두 가지 유형의 잘못된 예측에 해당하는 예측의 수를 확인할 수 있습니다.

올바른 예측

잘못된 예측

점수 커트라인 조정

ML 모델은 수치형 예측 점수를 생성한 다음 커트라인을 적용하여 이 점수를 바이너리 0/1 레이블로 변환하는 방식으로 작동합니다. 점수 커트라인을 변경하여 실수가 발생했을 때의 모델 동작을 조정할 수 있습니다. Amazon ML 콘솔의 평가 페이지에서 다양한 점수 커트라인의 영향을 검토하고 모델에 사용하려는 점수 커트라인을 저장할 수 있습니다.

점수 커트라인 임계값을 조정할 때는 두 가지 오류 유형 간의 균형을 준수합니다. 커트라인을 왼쪽으로 이동하면 더 많은 참 긍정을 얻을 수 있지만 거짓 긍정 오류의 수가 증가한다는 단점이 있습니다. 오른쪽으로 이동하면 거짓 긍정 오류가 덜 발생하지만 일부 참 긍정 오류를 놓칠 수 있다는 단점이 있습니다. 예측 애플리케이션의 경우 적절한 커트라인 점수를 선택하여 어떤 종류의 오류가 더 허용되는지 결정할 수 있습니다.

고급 지표 검토

Amazon ML은 ML 모델의 예측 정확도를 측정하기 위해 정확도, 정밀도, 재현율, 거짓 긍정률과 같은 추가 지표를 제공합니다.

정확도

정확도(ACC)는 올바른 예측의 비율을 측정합니다. 범위는 0 ~ 1입니다. 값이 클수록 예측 정확도가 높음을 나타냅니다.

정밀도

정밀도는 긍정으로 예측되는 사례 중 실제 긍정의 비율을 측정합니다. 범위는 0 ~ 1입니다. 값이 클수록 예측 정확도가 더 높습니다.

재현율

재현율은 긍정으로 예측되는 실제 긍정의 비율을 측정합니다. 범위는 0 ~ 1입니다. 값이 클수록 예측 정확도가 더 높습니다.

거짓 긍정률

거짓 긍정률(FPR)은 거짓 경보율 또는 긍정으로 예측되는 실제 부정 비율을 측정합니다. 범위는 0 ~ 1입니다. 값이 작을수록 예측 정확도가 더 높습니다.

비즈니스 문제에 따라 이러한 지표의 특정 하위 집합에 대해 효과적으로 수행되는 모델에 더 관심을 가질 수 있습니다. 예를 들어 다음과 같이 두 비즈니스 애플리케이션은 ML 모델에 대해 매우 다른 요구 사항을 가질 수 있습니다.

Amazon ML에서는 이전 고급 지표의 특정 값에 해당하는 점수 커트라인을 선택할 수 있습니다. 또한 특정 지표에 대해 최적화할 때 발생하는 장단점도 보여줍니다. 예를 들어, 높은 정밀도에 해당하는 커트라인을 선택하면 일반적으로 재현율을 낮추면서 균형을 맞춰야 합니다.