기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker 모델 대시보드는 SageMaker AI 콘솔에서 액세스할 수 있는 중앙 집중식 포털로, 계정의 모든 모델을 보고 검색하고 탐색할 수 있습니다. 추론을 위해 배포된 모델과 해당 모델이 배치 변환 작업에 사용되는지 또는 엔드포인트에서 호스팅되는지 추적할 수 있습니다. Amazon SageMaker 모델 모니터로 모니터를 설정하면 모델이 라이브 데이터에 대한 실시간 예측을 수행할 때 모델의 성능을 추적할 수도 있습니다. 대시보드를 사용하여 데이터 품질, 모델 품질, 바이어스 및 설명 가능성에 대해 설정한 임계값을 위반하는 모델을 찾을 수 있습니다. 대시보드에 모든 모니터 결과가 포괄적으로 표시되므로 이러한 지표가 구성되지 않은 모델을 신속하게 식별할 수 있습니다.
모델 대시보드는 여러 SageMaker AI 기능의 모델 관련 정보를 집계합니다. 모델 모니터에서 제공하는 서비스 외에도 모델 카드를 보고, 워크플로 계보를 시각화하고, 엔드포인트 성능을 추적할 수 있습니다. 더 이상 로그를 정렬하거나, 노트북에서 쿼리하거나, 필요한 데이터를 수집하기 위해 다른 AWS 서비스에 액세스할 필요가 없습니다. SageMaker AI의 모델 대시보드는 응집력 있는 사용자 경험과 기존 서비스에의 통합을 통해 모든 모델에서 품질 범위를 보장하는 데 도움이 되는 out-of-the-box 가능한 모델 거버넌스 솔루션을 제공합니다.
사전 조건
모델 대시보드를 사용하려면 계정에 하나 이상의 모델이 있어야 합니다. Amazon SageMaker AI를 사용하여 모델을 훈련하거나 다른 곳에서 훈련한 모델을 가져올 수 있습니다. SageMaker AI에서 모델을 생성하려면 CreateModel API를 사용할 수 있습니다. 자세한 내용은 CreateModel을 참조하세요. 또한 모델 훈련 및 배포를 설정하는 프로젝트 템플릿을 제공하는 Amazon SageMaker Studio Classic과 같은 SageMaker AI 제공 ML 환경을 사용할 수 있습니다. Amazon SageMaker Studio Classic을 시작하는 방법에 대한 자세한 내용은 Amazon SageMaker Studio Classic을 참조하세요.
필수 사전 조건은 아니지만 고객이 엔드포인트에 배포된 모델에 대해 SageMaker 모델 모니터를 사용하여 모델 모니터링 작업을 설정하면 대시보드의 가치를 극대화할 수 있습니다. SageMaker 모델 모니터를 사용하는 방법에 대한 사전 조건 및 지침은 Amazon SageMaker Model Monitor를 사용한 데이터 및 모델 품질 모니터링섹션을 참조하세요.
모델 대시보드 요소
모델 대시보드 뷰는 각 모델에서 하리 레벨 세부 정보를 추출하여 계정 내 모든 모델에 대한 포괄적인 요약을 제공합니다. 추론을 위해 모델을 배포한 경우 대시보드를 통해 모델 및 엔드포인트의 성능을 실시간으로 추적할 수 있습니다.
이 페이지에서 강조해야 할 중요한 세부 정보는 다음과 같습니다.
-
위험 등급: 모델 카드의 사용자 지정 파라미터로 낮음, 중간 또는 높음 값을 가집니다. 모델 카드의 위험 등급은 모델 예측이 비즈니스에 미치는 영향을 카테고리별로 측정한 것입니다. 모델은 다양한 비즈니스 애플리케이션에 사용되며, 각 애플리케이션마다 서로 다른 위험 수준을 가정합니다. 예를 들어, 사이버 공격을 잘못 탐지하는 것은 이메일을 잘못 분류하는 것보다 비즈니스에 훨씬 더 큰 영향을 미칩니다. 모델 위험을 모르는 경우 알 수 없음으로 설정할 수 있습니다. Amazon SageMaker 모델 카드에 대한 자세한 내용은 모델 카드를 참조하세요.
-
모델 모니터 알림: 모델 모니터 알림은 모델 대시보드의 주요 초점이며, SageMaker AI에서 제공하는 다양한 모니터에서 기존 설명서를 검토하는 것이 시작하는 데 도움이 됩니다. SageMaker 모델 모니터 기능 및 샘플 노트북에 대한 심층적인 설명은 Amazon SageMaker Model Monitor를 사용한 데이터 및 모델 품질 모니터링섹션을 참조하세요.
모델 대시보드에는 다음 모니터 유형별로 모델 모니터 상태 값이 표시됩니다.
-
데이터 품질: 라이브 데이터를 훈련 데이터와 비교합니다. 서로 다를 경우 모델의 추론이 더 이상 정확하지 않을 수 있습니다. 데이터 품질 모니터에 대한 추가 세부 정보는 데이터 품질섹션을 참조하세요.
-
모델 품질: 모델이 예측한 결과를 모델이 예측하려고 시도하는 실제 Ground Truth 레이블과 비교합니다. 데이터 품질 모니터에 대한 추가 세부 정보는 모델 품질섹션을 참조하세요.
-
바이어스 드리프트: 라이브 데이터의 분포를 훈련 데이터와 비교하는데, 이로 인해 예측이 부정확해질 수도 있습니다. 바이어스 드리프트 모니터에 대한 자세한 내용은 프로덕션 환경의 모델에 대한 바이어스 드리프트섹션을 참조하세요.
-
기능 특성 드리프트: 설명 가능성 드리프트라고도 합니다. 훈련 데이터 내 특징의 상대적 순위를 라이브 데이터와 비교하는데, 이는 바이어스 드리프트의 결과일 수도 있습니다. 기능 속성 드리프트 모니터에 대한 자세한 내용은 프로덕션 환경의 모델에 대한 특성 어트리뷰션 드리프트섹션을 참조하세요.
각 모델 모니터 상태는 다음 값 중 하나입니다.
-
없음: 예정된 모니터가 없습니다.
-
비활성: 모니터가 예약되었지만 비활성화되었습니다.
-
좋음: 모니터가 예약되어 활성 상태이지만 최근 모델 모니터를 실행하여 경고를 발생시키는 데 필요한 횟수의 위반이 발생하지 않았습니다.
-
시간 및 날짜: 활성 모니터가 지정된 시간 및 날짜에 경고를 발생시켰습니다.
-
-
엔드포인트: 실시간 추론을 위해 모델을 호스팅하는 엔드포인트. 모델 대시보드 내에서 엔드포인트 열을 선택하여 엔드포인트의 CPU, GPU, 디스크 및 메모리 사용률과 같은 성능 지표를 실시간으로 볼 수 있으므로 컴퓨팅 인스턴스의 성능을 추적하는 데 도움이 됩니다.
-
배치 변환 작업: 이 모델을 사용하여 실행한 가장 최근의 배치 변환 작업입니다. 이 열을 통해 모델이 배치 추론에 활발하게 사용되고 있는지 확인할 수 있습니다.
-
모델 세부 정보: 대시보드의 각 항목은 개별 모델을 자세히 살펴볼 수 있는 모델 세부 정보 페이지로 연결됩니다. 데이터 준비부터 배포까지의 워크플로와 각 단계별 메타데이터를 시각화하는 모델의 계보 그래프에 액세스할 수 있습니다. 또한 모델 카드를 생성 및 확인하고, 알림 세부 정보 및 기록을 검토하고, 실시간 엔드포인트의 성능을 평가하고, 기타 인프라 관련 세부 정보에 액세스할 수 있습니다.
