기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
섀도우 테스트
SageMaker Amazon에서는 모델 서비스 인프라의 성능을 현재 배포된 인프라와 비교하여 모델 서비스 인프라의 변경 사항을 평가할 수 있습니다. 이러한 방식을 섀도우 테스트라고 합니다. 섀도우 테스트를 통해 최종 사용자에게 영향을 미치기 전에 잠재적인 구성 오류 및 성능 문제를 파악할 수 있습니다. 를 사용하면 섀도우 테스트 인프라 구축에 투자할 필요가 없으므로 모델 개발에만 집중할 수 있습니다. SageMaker
이 기능을 사용하면 최종 사용자의 영향 없이 모델, 컨테이너 또는 인스턴스와 같은 프로덕션 변형의 모든 구성 요소에 대한 변경 사항을 검증할 수 있습니다. 다음을 포함하지만 이에 국한되지 않는 상황에서 유용합니다.
-
오프라인에서 검증된 새 모델을 프로덕션 환경으로 승격하는 것을 고려하고 있지만 결정을 내리기 전에 지연 시간 및 오류율과 같은 운영 성능 지표를 평가하고자 합니다.
-
취약점을 패치하거나 새 버전으로 업그레이드하는 등 서비스 인프라 컨테이너에 대한 변경 사항을 고려하고 있으며, 프로덕션으로 승격하기 전에 이러한 변경이 미치는 영향을 평가하고자 합니다.
-
ML 인스턴스 변경을 고려 중이며 실시간 추론 요청으로 새 인스턴스가 어떻게 작동하는지 평가하고자 합니다.
SageMaker 콘솔은 섀도우 테스트 워크플로를 관리할 수 있는 가이드 환경을 제공합니다. 미리 정의된 기간 동안 섀도우 테스트를 설정하고, 라이브 대시보드를 통해 테스트 진행 상황을 모니터링하고, 완료 시 정리하고, 결과에 따라 조치를 취할 수 있습니다. 테스트할 프로덕션 변형을 선택하면 새 변형을 섀도우 모드에서 SageMaker 자동으로 배포하고 추론 요청 사본을 동일한 엔드포인트 내에서 실시간으로 해당 변종에 라우팅합니다. 프로덕션 변형의 응답만 호출 애플리케이션에 반환됩니다. 오프라인 비교를 위해 섀도우 변형의 응답을 무시하거나 기록하도록 선택할 수 있습니다. 프로덕션 및 섀도우 변형에 대한 자세한 내용은 프로덕션에서 모델을 안전하게 검증합니다을 참고하세요.
섀도우 테스트 생성 지침은 섀도우 테스트 생성를 참고하세요.
참고
특정 엔드포인트 기능으로 인해 엔드포인트가 섀도우 테스트와 호환되지 않을 수 있습니다. 엔드포인트가 다음 기능 중 하나를 사용하는 경우 엔드포인트에서 섀도우 테스트를 사용할 수 없으며 섀도우 테스트 설정 요청으로 인해 검증 오류가 발생합니다.
서버리스 추론
비동기식 추론
Marketplace 컨테이너너
다중 컨테이너 엔드포인트
다중 모델 엔드포인트
Inf1(추론 기반) 인스턴스를 사용하는 엔드포인트
Amazon Elastic Inference 엔드포인트