프로덕션 내 모델 검증

를 사용하면 변형을 사용하여 동일한 엔드포인트 뒤에 있는 여러 모델 또는 모델 버전을 테스트 SageMaker할 수 있습니다. 변형은 ML 인스턴스와 SageMaker 모델에 지정된 서비스 구성 요소로 구성됩니다. 엔드포인트 뒤에 여러 변형이 있을 수 있습니다. 각 변형은 서로 다른 인스턴스 유형 또는 다른 유형과 독립적으로 오토스케일링할 수 있는 SageMaker 모델을 가질 수 있습니다. 다양한 데이터 세트, 알고리즘, ML 프레임워크 또는 이들 모두의 조합을 사용하여 변형 내 모델을 훈련할 수 있습니다. 엔드포인트 뒤에 있는 모든 변형은 동일한 추론 코드를 공유합니다. 는 두 가지 유형의 변형, 프로덕션 변형 및 섀도우 변형을 SageMaker 지원합니다.

엔드포인트 뒤에 여러 프로덕션 변형이 있는 경우 추론 요청의 일부를 각 변형에 할당할 수 있습니다. 각 요청은 프로덕션 변형 중 하나에만 라우팅됩니다. 요청이 라우팅된 프로덕션 변형은 호출자에게 응답을 제공합니다. 생산 변형의 성능을 서로 비교할 수 있습니다.

엔드포인트 뒤에 생산 변형에 해당하는 섀도우 변형을 둘 수도 있습니다. 프로덕션 변형으로 가는 추론 요청의 일부가 섀도우 변형에 복제됩니다. 섀도우 변형의 응답은 비교를 위해 기록되며 호출자에게 반환되지 않습니다. 이를 통해 호출자를 섀도우 변형에서 생성된 응답에 노출시키지 않고도 섀도우 변형의 성능을 테스트할 수 있습니다.