Amazon SageMaker 모델 대시보드 - Amazon SageMaker
모델 대시보드 요소

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker 모델 대시보드

Amazon SageMaker 모델 대시보드는 SageMaker 콘솔에서 액세스할 수 있는 중앙 집중식 포털로, 계정의 모든 모델을 보고 검색하고 탐색할 수 있습니다. 추론을 위해 배포된 모델과 해당 모델이 배치 변환 작업에 사용되는지 또는 엔드포인트에서 호스팅되는지 추적할 수 있습니다. Amazon SageMaker Model Monitor를 사용하여 모니터를 설정하는 경우 라이브 데이터에 대한 실시간 예측을 수행할 때 모델의 성능을 추적할 수도 있습니다. 대시보드를 사용하여 데이터 품질, 모델 품질, 바이어스 및 설명 가능성에 대해 설정한 임계값을 위반하는 모델을 찾을 수 있습니다. 대시보드에 모든 모니터 결과가 포괄적으로 표시되므로 이러한 지표가 구성되지 않은 모델을 신속하게 식별할 수 있습니다.

모델 대시보드는 여러 SageMaker 기능에서 모델 관련 정보를 집계합니다. 모델 모니터에서 제공하는 서비스 외에도 모델 카드를 보고, 워크플로 계보를 시각화하고, 엔드포인트 성능을 추적할 수 있습니다. 필요한 데이터를 수집하기 위해 더 이상 로그를 정렬하거나 노트북에서 쿼리하거나 다른 AWS 서비스에 액세스할 필요가 없습니다. 응집력 있는 사용자 경험과 기존 서비스에의 통합을 통해 SageMaker의 모델 대시보드는 모든 모델에서 품질 범위를 보장하는 데 도움이 out-of-the-box되는 모델 거버넌스 솔루션을 제공합니다.

사전 조건 

모델 대시보드를 사용하려면 계정에 하나 이상의 모델이 있어야 합니다. Amazon을 사용하여 모델을 훈련 SageMaker 하거나 다른 곳에서 훈련한 모델을 가져올 수 있습니다. 에서 모델을 생성하려면 CreateModel 를 사용할 SageMaker수 있습니다API. 자세한 내용은 CreateModel를 참조하세요. 또한 모델 훈련 및 배포를 설정하는 프로젝트 템플릿을 제공하는 Amazon SageMaker Studio Classic과 같이 SageMaker에서 제공하는 ML 환경을 사용할 수도 있습니다. Studio Classic을 시작하는 방법에 대한 자세한 내용은 Amazon SageMaker Studio Classic 을 참조하세요.

이는 필수 사전 조건은 아니지만 고객은 엔드포인트에 배포된 모델용 SageMaker 모델 모니터를 사용하여 모델 모니터링 작업을 설정하면 대시보드에서 가장 많은 가치를 얻을 수 있습니다. SageMaker 모델 모니터를 사용하는 방법에 대한 사전 조건 및 지침은 섹션을 참조하세요Amazon Model Monitor를 사용한 데이터 및 SageMaker 모델 품질 모니터링.

모델 대시보드 요소

모델 대시보드 뷰는 각 모델에서 하리 레벨 세부 정보를 추출하여 계정 내 모든 모델에 대한 포괄적인 요약을 제공합니다. 추론을 위해 모델을 배포한 경우 대시보드를 통해 모델 및 엔드포인트의 성능을 실시간으로 추적할 수 있습니다.

이 페이지에서 강조해야 할 중요한 세부 정보는 다음과 같습니다.

  • 위험 등급: 모델 카드의 사용자 지정 파라미터로 낮음, 중간 또는 높음 값을 가집니다. 모델 카드의 위험 등급은 모델 예측이 비즈니스에 미치는 영향을 카테고리별로 측정한 것입니다. 모델은 다양한 비즈니스 애플리케이션에 사용되며, 각 애플리케이션마다 서로 다른 위험 수준을 가정합니다. 예를 들어, 사이버 공격을 잘못 탐지하는 것은 이메일을 잘못 분류하는 것보다 비즈니스에 훨씬 더 큰 영향을 미칩니다. 모델 위험을 모르는 경우 알 수 없음으로 설정할 수 있습니다. Amazon SageMaker 모델 카드에 대한 자세한 내용은 모델 카드 섹션을 참조하세요.

  • 모델 모니터 알림: 모델 모니터 알림은 모델 대시보드의 주요 초점이며 에서 제공하는 다양한 모니터의 기존 설명서를 검토하는 SageMaker 것이 시작하는 데 도움이 됩니다. SageMaker 모델 모니터 기능 및 샘플 노트북에 대한 자세한 설명은 섹션을 참조하세요Amazon Model Monitor를 사용한 데이터 및 SageMaker 모델 품질 모니터링.

    모델 대시보드에는 다음 모니터 유형별로 모델 모니터 상태 값이 표시됩니다.

    • 데이터 품질: 라이브 데이터를 훈련 데이터와 비교합니다. 서로 다를 경우 모델의 추론이 더 이상 정확하지 않을 수 있습니다. 데이터 품질 모니터에 대한 추가 세부 정보는 데이터 품질섹션을 참조하세요.

    • 모델 품질: 모델이 예측한 결과를 모델이 예측하려고 시도하는 실제 Ground Truth 레이블과 비교합니다. 데이터 품질 모니터에 대한 추가 세부 정보는 모델 품질섹션을 참조하세요.

    • 바이어스 드리프트: 라이브 데이터의 분포를 훈련 데이터와 비교하는데, 이로 인해 예측이 부정확해질 수도 있습니다. 바이어스 드리프트 모니터에 대한 자세한 내용은 프로덕션 모델의 바이어스 드리프트섹션을 참조하세요.

    • 기능 특성 드리프트: 설명 가능성 드리프트라고도 합니다. 훈련 데이터 내 특징의 상대적 순위를 라이브 데이터와 비교하는데, 이는 바이어스 드리프트의 결과일 수도 있습니다. 기능 속성 드리프트 모니터에 대한 자세한 내용은 프로덕션 모델의 특성 드리프트섹션을 참조하세요.

    각 모델 모니터 상태는 다음 값 중 하나입니다.

    • 없음: 예정된 모니터가 없습니다.

    • 비활성: 모니터가 예약되었지만 비활성화되었습니다.

    • 좋음: 모니터가 예약되어 활성 상태이지만 최근 모델 모니터를 실행하여 경고를 발생시키는 데 필요한 횟수의 위반이 발생하지 않았습니다.

    • 시간 및 날짜: 활성 모니터가 지정된 시간 및 날짜에 경고를 발생시켰습니다.

  • 엔드포인트: 실시간 추론을 위해 모델을 호스팅하는 엔드포인트. 모델 대시보드에서 엔드포인트 열을 선택하여 엔드포인트의 CPU, , GPU디스크 및 메모리 사용률과 같은 성능 지표를 실시간으로 확인하여 컴퓨팅 인스턴스의 성능을 추적할 수 있습니다.

  • 배치 변환 작업: 이 모델을 사용하여 실행한 가장 최근의 배치 변환 작업입니다. 이 열을 통해 모델이 배치 추론에 활발하게 사용되고 있는지 확인할 수 있습니다.

  • 모델 세부 정보: 대시보드의 각 항목은 개별 모델을 자세히 살펴볼 수 있는 모델 세부 정보 페이지로 연결됩니다. 데이터 준비부터 배포까지의 워크플로와 각 단계별 메타데이터를 시각화하는 모델의 계보 그래프에 액세스할 수 있습니다. 또한 모델 카드를 생성 및 확인하고, 알림 세부 정보 및 기록을 검토하고, 실시간 엔드포인트의 성능을 평가하고, 기타 인프라 관련 세부 정보에 액세스할 수 있습니다.