기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델의 성능 평가
Amazon SageMaker Canvas는 다양한 유형의 모델에 대한 개요 및 점수 정보를 제공합니다. 모델의 점수는 예측 시 모델이 얼마나 정확한지 판단하는 데 도움이 될 수 있습니다. 추가 점수 평가 통찰력은 실제 값과 예측 값 간의 차이를 정량화하는 데 도움이 될 수 있습니다.
모델 분석을 보려면 다음 작업을 수행합니다.
-
SageMaker Canvas 애플리케이션을 엽니다.
-
왼쪽 탐색 창에서 내 모델을 선택합니다.
-
빌드한 모델을 선택합니다.
-
탐색 창에서 분석 탭을 선택합니다.
-
분석 탭에서 모델의 개요 및 점수 평가 정보를 볼 수 있습니다.
다음 섹션에서는 각 모델 유형에 대한 점수 평가를 해석하는 방법을 설명합니다.
범주형 예측 모델 평가
개요 탭에는 각 열에 대한 열 영향이 표시됩니다. 열 영향은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.
다음 스크린샷은 모델을 구축할 때 최적화하기 위해 선택한 지표인 최적화 지표와 함께 모델의 정확도 점수를 보여줍니다. 이 경우 최적화 지표는 정확도입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다.
범주형 예측 모델의 점수 평가 탭에서는 모든 예측을 시각화할 수 있습니다. 선 세그먼트는 페이지 왼쪽부터 확장되어 모델이 수행한 모든 예측을 나타냅니다. 페이지 중앙의 선 세그먼트는 수직 세그먼트로 수렴하여 단일 범주에 대한 각 예측의 비율을 나타냅니다. 예측된 범주에서 세그먼트는 실제 범주로 분기됩니다. 예측 범주에서 실제 범주까지 각 선 세그먼트를 따라가면 예측의 정확도를 시각적으로 파악할 수 있습니다.
다음 이미지는 3개 이상의 범주 예측 모델에 대한 점수 평가 섹션의 예시입니다.
고급 지표 탭에서 고급 지표, 오류 밀도 플롯 또는 혼동 행렬과 같이 모델의 성능에 대한 자세한 내용을 참조할 수도 있습니다. 고급 지표에 대한 자세한 내용은 분석에 고급 지표 사용 섹션을 참조하세요.
숫자 예측 모델 평가
개요 탭에는 각 열에 대한 열 영향이 표시됩니다. 열 영향은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.
다음 스크린샷은 개요 탭에 있는 모델의 RMSE 점수를 보여줍니다(이 경우 최적화 지표). 최적화 지표는 모델을 구축할 때 최적화하기 위해 선택하는 지표입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다.
숫자 예측을 위한 점수 평가 탭에는 예측에 사용된 데이터와 관련하여 모델의 예측 값을 나타내는 선이 표시됩니다. 숫자 예측 값은 대개 +/- RMSE (근 평균 제곱 오차) 값입니다. 모델이 예측하는 값은 대개 RMSE 범위 내에 있습니다. 선 주위의 보라색 띠 너비는 RMSE 범위를 나타냅니다. 예측 값은 종종 범위 내에 있습니다.
다음 이미지는 숫자 예측에 대한 점수 평가 섹션을 보여줍니다.
고급 지표 탭에서 고급 지표, 오류 밀도 플롯 또는 혼동 행렬과 같이 모델의 성능에 대한 자세한 내용을 참조할 수도 있습니다. 고급 지표에 대한 자세한 내용은 분석에 고급 지표 사용 섹션을 참조하세요.
시계열 예측 모델 평가
시계열 예측 모델의 분석 페이지에서 모델 지표의 개요를 볼 수 있습니다. 각 지표를 마우스로 가리켜 자세한 내용을 보거나 각 지표에 대한 정보를 분석에 고급 지표 사용 섹션에서 확인할 수 있습니다.
열 영향 섹션에서 각 열의 점수를 볼 수 있습니다. 열 영향은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.
다음 스크린샷은 모델을 빌드할 때 최적화하기 위해 선택하는 지표인 최적화 지표와 함께 모델에 대한 시계열 지표 점수를 보여줍니다. 이 경우 최적화 지표는 RMSE입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다. 이러한 지표 점수는 아티팩트 탭에서 다운로드할 수 있는 백테스트 결과에서 가져옵니다.
아티팩트 탭에서는 모델의 성능을 심층적으로 살펴보고 계속 반복하는 데 사용할 수 있는 몇 가지 주요 리소스에 액세스할 수 있습니다.
-
셔플 훈련 및 검증 분할 - 이 섹션에는 데이터세트가 훈련 및 검증 세트로 분할될 때 생성된 아티팩트에 대한 링크가 포함되어 있으므로 데이터 배포 및 잠재적 편향을 검토할 수 있습니다.
-
백테스트 결과 - 이 섹션에는 모델의 정확도 지표 및 평가 데이터를 생성하는 데 사용되는 검증 데이터세트의 예측 값에 대한 링크가 포함되어 있습니다.
-
정확도 지표 - 이 섹션에는 Root Mean Squared Error(RMSE)와 같이 모델의 성능을 평가하는 고급 지표가 나열되어 있습니다. 각 지표에 대한 자세한 내용은 시계열 예측용 지표 섹션을 참조하세요.
-
설명 가능성 보고서 - 이 섹션에서는 설명 가능성 보고서를 다운로드할 수 있는 링크를 제공합니다. 이 보고서를 통해 모델의 의사 결정 프로세스와 입력 열의 상대적 중요성에 대한 인사이트를 얻을 수 있습니다. 이 보고서는 개선이 필요한 잠재적 영역을 식별하는 데 도움이 될 수 있습니다.
분석 페이지에서 다운로드 버튼을 선택하여 백테스트 결과, 정확도 지표 및 설명 가능성 보고서 아티팩트를 로컬 머신에 직접 다운로드할 수도 있습니다.
이미지 예측 모델 평가
개요 탭에는 레이블별 성능이 표시되며, 각 레이블에 대해 예측된 이미지의 전체 정확도 점수를 확인할 수 있습니다. 레이블을 선택하면 레이블에 대해 정확하게 예측된 이미지 및 잘못 예측된 이미지와 같은 보다 구체적인 세부 정보를 볼 수 있습니다.
열 지도 토글을 켜서 각 이미지의 열 지도를 볼 수 있습니다. 열 지도는 모델이 예측을 수행할 때 가장 큰 영향을 미치는 관심 영역을 보여줍니다. 열 지도에 대한 자세한 내용과 이를 사용하여 모델을 개선하는 방법을 알아보려면 열 지도 토글 옆에 있는 추가 정보 아이콘을 선택하세요.
단일 레이블 이미지 예측 모델의 점수 평가 탭에서는 모델이 레이블로 예측한 것과 실제 레이블을 비교하여 보여줍니다. 한번에 최대 10개의 레이블을 선택할 수 있습니다. 레이블 드롭다운 메뉴를 선택하고 레이블을 선택하거나 선택 취소하여 시각화에서 레이블을 변경할 수 있습니다.
모델 정확도 통찰력 섹션에서 드롭다운에 대한 점수 보기 메뉴를 선택하여 정확도가 가장 높거나 가장 낮은 세 개의 레이블과 같은 개별 레이블 또는 레이블 그룹에 대한 통찰력을 볼 수 있습니다.
다음 스크린샷은 단일 레이블 이미지 예측 모델의 점수 평가 정보를 보여줍니다.
텍스트 예측 모델 평가
개요 탭에는 각 레이블에 대해 예측된 텍스트 구절에 대한 전반적인 정확도 점수를 제공하는 레이블당 성능이 표시됩니다. 레이블을 선택하면 레이블의 올바르게 예측된 구절 및 잘못 예측된 구절과 같은 보다 구체적인 세부 정보를 볼 수 있습니다.
다중 카테고리 텍스트 예측 모델의 점수 평가 탭에서는 모델이 레이블로 예측한 것과 실제 레이블을 비교하여 보여줍니다.
모델 정확도 통찰력 섹션에서는 모델이 가장 자주 예측한 카테고리와 이러한 예측의 정확도를 알려주는 가장 빈번한 카테고리를 확인할 수 있습니다. 모델이 긍정이라는 레이블을 99%의 확률로 정확하게 예측한다면 모델이 텍스트의 긍정적 감정을 잘 예측한다고 확신할 수 있습니다.
다음 스크린샷은 다중 카테고리 텍스트 예측 모델의 점수 평가 정보를 보여줍니다.
