더 이상 Amazon Machine Learning 서비스를 업데이트하거나 새 사용자를 받지 않습니다. 이 설명서는 기존 사용자에 제공되지만 더 이상 업데이트되지 않습니다. 자세한 내용은 Amazon Machine Learning이란? 단원을 참조하세요.

멀티클래스 모델 인사이트 정보

예측 해석

많은 멀티클래스 분류 알고리즘의 실제 출력은 예측 점수 세트입니다. 점수는 주어진 관측치가 각 클래스에 속한다는 사실에 대한 시스템의 확실성을 나타냅니다. 바이너리 분류 문제와는 달리 예측을 하기 위해 점수 커트라인을 선택할 필요가 없습니다. 예측된 대답은 가장 높은 예측 점수를 가진 클래스(예: 레이블)입니다.

ML 모델 정확도 측정

멀티클래스에 사용되는 일반적인 지표는 바이너리 분류 사례에서 사용되는 지표와 동일합니다. Amazon ML에서 멀티클래스 지표의 예측 정확도를 평가하는 경우 매크로 평균 F1 점수가 사용됩니다.

매크로 평균 F1 점수

F1 점수는 이진 지표의 정밀도와 재현율을 모두 고려하는 바이너리 분류 지표입니다. 이는 정밀도와 재현율 사이의 조화 평균에 해당됩니다. 범위는 0 ~ 1입니다. 값이 클수록 예측 정확도가 더 높습니다.

매크로 평균 F1 점수는 멀티클래스 사례의 모든 클래스에 대한 F1 점수의 비가중치 평균입니다. 평가 데이터 세트의 클래스 발생 빈도는 고려하지 않습니다. 값이 클수록 예측 정확도가 더 높습니다. 다음 예제는 평가 데이터 소스의 K 클래스를 보여줍니다.

베이스라인 매크로 평균 F1 점수

Amazon ML은 멀티클래스 모델을 위한 기준 지표를 제공합니다. 이는 항상 가장 빈번한 클래스를 정답으로 예측하는 가상 멀티클래스 모델의 매크로 평균 F1 점수입니다. 예를 들어 영화의 장르를 예측하고 학습 데이터에서 가장 흔한 장르가 로맨스인 경우 기준 모델은 항상 장르를 로맨스로 예측합니다. ML 모델을 이 기준선과 비교하여 ML 모델이 이 상수 답을 예측하는 ML 모델보다 나은지 검증할 수 있습니다.

성능 시각화 사용

Amazon ML은 멀티클래스 분류 예측 모델의 정확도를 시각화하는 방법으로 오차 행렬을 제공합니다. 오차 행렬은 관측치의 예측 클래스와 실제 클래스를 비교하여 각 클래스에 대한 정답 및 오답 예측의 수 또는 백분율을 표로 보여줍니다.

예를 들어 영화를 장르별로 분류하려는 경우 예측 모델은 해당 장르(클래스)가 로맨스라고 예측할 수 있습니다. 하지만 실제 장르는 스릴러일 수도 있습니다. 다음 그림과 같이 멀티클래스 분류 ML 모델의 정확도를 평가할 때 Amazon ML은 이러한 오분류를 식별하여 그 결과를 오차 행렬에 표시합니다.

오차 행렬에는 다음 정보가 표시됩니다.

Amazon ML 콘솔은 오차 행렬의 클래스를 최대 10개까지 표시할 수 있는 시각적 표시를 제공하는데, 평가 데이터에서 빈도가 가장 높은 클래스부터 가장 빈도가 낮은 클래스 순으로 나열되어 있습니다. 평가 데이터에 10개 이상의 클래스가 있는 경우 오차 행렬에서 가장 자주 발생하는 상위 9개 클래스가 표시되고 다른 모든 클래스는 "others"라는 클래스로 축소됩니다. 또한 Amazon ML은 멀티클래스 시각화 페이지의 링크를 통해 오차 행렬 전체를 다운로드할 수 있는 기능도 제공합니다.