기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker Autopilot으로 생성된 보고서
Autopilot은 데이터 탐색 노트북 외에도 각 실험에 가장 적합한 모델 후보에 대한 다양한 보고서를 생성합니다.
-
설명 가능성 보고서는 모델의 예측 수행 방식에 대한 통찰력을 제공합니다.
-
성과 보고서는 모델의 예측 기능에 대한 정량적 평가를 제공합니다.
-
백테스트 결과 보고서는 기록 데이터에 대한 모델 성능을 테스트한 후에 생성됩니다.
설명 가능성 보고서
Autopilot 설명 가능성 보고서를 통해 데이터세트의 속성이 특정 시계열(항목 및 차원 조합) 및 시점에 대한 예측에 미치는 영향을 더 잘 이해할 수 있습니다. Autopilot은 영향 점수라는 지표를 사용하여 각 속성의 상대적 영향을 정량화하고 예측값의 증가 또는 감소 여부를 결정합니다.
예를 들어 대상이 sales이고 price 및 color의 두 관련 속성이 있는 예측 시나리오를 생각해 보세요. Autopilot은 품목의 색상이 특정 품목의 판매에 큰 영향을 미치지만 다른 품목에 미치는 영향은 미미할 수 있습니다. 여름철 프로모션은 판매에 큰 영향을 주지만 겨울철 프로모션은 효과가 거의 없을 수도 있습니다.
설명 가능성 보고서는 다음과 같은 경우에만 생성됩니다.
-
시계열 데이터세트가 추가 기능 열을 포함하거나 공휴일 캘린더와 연결된 경우.
-
기본 모델 CNN–QR 및 DeepAR+가 최종 앙상블에 포함된 경우.
영향 점수 해석
영향 점수는 속성이 예측값에 미치는 상대적 영향을 측정합니다. 예를 들어 price 속성의 영향 점수가 store location 속성보다 두 배 높으면 품목 가격이 매장 위치보다 예측값에 미치는 영향이 두 배라는 결론을 내릴 수 있습니다.
영향 점수는 속성의 예측치 증가 또는 감소 여부에 대한 정보도 제공합니다.
영향 점수의 범위는 –1에서 1까지이며, 여기서 부호는 영향의 방향을 나타냅니다. 점수가 0이면 영향이 없음을 나타내고, 점수가 1 또는 –1에 가까우면 중대한 영향을 나타냅니다.
중요한 점은 영향 점수는 속성의 절대적 영향이 아니라 상대적 영향을 측정한다는 점입니다. 따라서 영향 점수를 사용하여 특정 속성이 모델 정확도를 향상시키는지 여부를 판단할 수는 없습니다. 속성의 영향 점수가 낮다고 해서 반드시 예측값에 미치는 영향이 적은 것은 아니며, 예측기가 사용하는 다른 속성보다 예측값에 미치는 영향이 적다는 뜻입니다.
설명 가능성 보고서 찾기
BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability에서 DescribeAutoMLJobV2에 대한 응답에 최적의 후보에 대해 생성된 설명 가능성 아티팩트의 Amazon S3 접두사를 찾을 수 있습니다.
모델 성능 보고서
Autopilot 모델 품질 보고서(성과 보고서라고도 함)는 AutoML 작업에서 생성된 최적의 모델 후보(최상의 예측기)에 대한 통찰력과 품질 정보를 제공합니다. 여기에는 작업 세부 정보, 목표 함수, 정확도 지표(wQL, MAPE, WAPE, RMSE, MASE)에 대한 정보가 포함됩니다.
BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights에서 DescribeAutoMLJobV2에 대한 응답에 최적의 후보에 대해 생성된 모델 품질 보고서 아티팩트의 Amazon S3 접두사를 찾을 수 있습니다.
백테스트 결과 보고서
백테스트 결과는 예측 정확도와 안정성을 평가하여 시계열 예측 모델의 성능에 대한 통찰력을 제공합니다. 분석가와 데이터 사이언티스트가 기록 데이터에 대한 성능을 평가하고 보이지 않는 미래의 데이터에 대한 잠재적 성능을 이해하는 데 도움이 됩니다.
Autopilot은 백테스팅을 사용하여 파라미터를 조정하고 정확도 지표을 생성합니다. 백테스팅 중에 Autopilot은 시계열 데이터를 훈련 세트와 테스팅 세트의 두 세트로 자동으로 분할합니다. 훈련 세트는 모델을 훈련시킨 다음 테스팅 세트의 데이터 포인트에 대한 예측을 생성하는 데 사용됩니다. Autopilot은 이 테스팅 데이터세트를 사용하여 예측된 값을 테스팅 세트의 관찰된 값과 비교하여 모델의 정확도를 평가합니다.
BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults에서 DescribeAutoMLJobV2에 대한 응답에 최적의 후보에 대해 생성된 모델 품질 보고서 아티팩트의 Amazon S3 접두사를 찾을 수 있습니다.
