기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker 모델 모니터는 프로덕션 환경에서 Amazon SageMaker AI 기계 학습 모델의 품질을 모니터링합니다. Model Monitor를 사용하면 다음을 설정할 수 있습니다.
-
실시간 엔드포인트를 사용한 지속적인 모니터링.
-
정기적으로 실행되는 배치 변환 작업을 사용한 지속적인 모니터링
-
비동기 배치 변환 작업에 대한 일정에 따른 모니터링
모델 모니터로 모델 품질에 편차가 있을 때 알려주는 알림을 설정할 수 있습니다. 이러한 편차를 조기에 사전 예방적으로 감지하여 시정 조치를 취할 수 있습니다. 모델을 수동으로 모니터링하거나 추가 툴링을 빌드할 필요 없이 모델 재훈련, 업스트림 시스템 감사 또는 품질 문제 수정과 같은 조치를 취할 수 있습니다. 코딩이 필요하지 않은 모델 모니터 사전 빌드 모니터링 기능을 사용할 수 있습니다. 또한 사용자 지정 분석을 제공하도록 코딩하여 모델을 유연하게 모니터링할 수 있습니다.
모델 모니터는 다음 유형의 모니터링을 제공합니다.
-
데이터 품질 - 데이터 품질의 드리프트를 모니터링합니다.
-
모델 품질 - 정확도와 같은 모델 품질 지표의 드리프트를 모니터링합니다.
-
프로덕션 환경의 모델에 대한 바이어스 드리프트 - 모델 예측의 바이어스를 모니터링합니다.
-
프로덕션 환경의 모델에 대한 특성 어트리뷰션 드리프트 - 기능 속성의 드리프트를 모니터링합니다.
주제
Amazon SageMaker Model Monitor 작동 방식
Amazon SageMaker Model Monitor는 프로덕션 환경의 기계 학습(ML) 모델을 자동으로 모니터링하여 품질 문제가 발생할 때 사용자에게 알립니다. 모델 모니터는 규칙을 사용하여 모델의 드리프트를 감지하고, 드리프트가 발생하면 사용자에게 알려줍니다. 다음 그림은 모델이 실시간 엔드포인트에 배포된 경우 이 프로세스가 어떻게 작동하는지 보여줍니다.
또한 모델 모니터를 사용하여 실시간 엔드포인트 대신 배치 변환 작업을 모니터링할 수 있습니다. 이 경우 모델 모니터는 엔드포인트에 대한 요청을 수신하고 예측을 추적하는 대신 추론 입력 및 출력을 모니터링합니다. 다음 그림은 배치 변환 작업을 모니터링하는 프로세스를 도식화한 것입니다.
모델 모니터링을 활성화하려면 다음 단계를 수행합니다. 이러한 단계는 다양한 데이터 수집, 모니터링 및 분석 프로세스를 통해 데이터 경로를 따릅니다.
-
실시간 엔드포인트의 경우, 엔드포인트를 활성화하여 훈련된 ML 모델로 들어오는 요청에서 나온 데이터와 그 결과로 생성된 모델 예측을 캡처합니다.
-
배치 변환 작업의 경우 배치 변환 입력 및 출력의 데이터 캡처를 활성화합니다.
-
모델을 훈련하는 데 사용된 데이터세트에서 기준을 생성합니다. 기준은 지표를 계산한 다음 지표에 대한 제약 조건을 제안합니다. 모델의 실시간 또는 배치 예측을 제약 조건과 비교합니다. 제한된 값을 벗어나는 경우 위반으로 보고됩니다.
-
모니터링 일정을 생성하여 수집할 데이터, 수집 빈도, 분석 방법 및 생성할 보고서를 지정합니다.
-
최신 데이터를 기준과 비교하는 보고서를 검사합니다. Amazon CloudWatch에서 보고된 위반 사항, 지표 및 알림을 확인합니다.
Notes
-
모델 모니터는 테이블 형식 데이터에 대해서만 모델 지표와 통계를 계산합니다. 예를 들어, 이미지를 입력으로 받아 이미지 기반의 레이블을 출력하는 이미지 분류 모델을 모니터링할 수 있습니다. 모델 모니터는 입력이 아닌 출력에 대한 지표와 통계를 계산할 수 있습니다.
-
모델 모니터는 현재 단일 모델을 호스트하는 엔드포인트만 지원하며 다중 모델 엔드포인트의 모니터링을 지원하지 않습니다. 다중 모델 엔드포인트 사용에 대한 자세한 내용은 다중 모델 엔드포인트섹션을 참조하세요.
-
Model Monitor는 추론 파이프라인 모니터링을 지원합니다. 그러나 데이터 캡처 및 분석은 파이프라인의 개별 컨테이너가 아닌 전체 파이프라인에 대해 수행됩니다.
-
Data Capture는 추론 요청에 영향이 없도록 하기 위해 디스크 사용량이 많은 경우 요청 캡처를 중단합니다. 데이터 캡처가 요청을 계속 캡처하도록 하려면 디스크 사용률을 75% 미만으로 유지하는 것이 좋습니다.
-
사용자 지정 Amazon VPC에서 SageMaker Studio를 시작하는 경우, 모델 모니터가 Amazon S3 및 CloudWatch와 통신할 수 있도록 VPC 엔드포인트를 만들어야 합니다. VPC 엔드포인트에 대한 자세한 내용은 Amazon 가상 사설 클라우드 사용자 설명서의 VPC 엔드포인트를 참조하세요. 사용자 지정 VPC에서 SageMaker Studio를 시작하는 방법에 대한 자세한 내용은 VPC의 Studio 노트북을 외부 리소스에 연결섹션을 참조하세요.
Model Monitor 샘플 노트북
실시간 엔드포인트와 함께 Model Monitor를 사용하여 엔드투엔드 워크플로를 안내하는 샘플 노트북은 Introduction to Amazon SageMaker Model Monitor
모니터링 일정에서 선택한 실행에 대한 statistics.json 파일을 시각화하는 샘플 노트북에 대한 내용은 모델 모니터 시각화
SageMaker AI에서 예제를 실행하는 데 사용할 수 있는 Jupyter 노트북 인스턴스를 생성하고 액세스하는 방법에 대한 지침은 섹션을 참조하세요Amazon SageMaker 노트북 인스턴스. 노트북 인스턴스를 생성하고 연 후 SageMaker AI 예제 탭을 선택하여 모든 SageMaker AI 샘플 목록을 확인합니다. 노트북을 열려면 노트북의 사용 탭을 선택한 후 사본 생성을 선택합니다.
