기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모범 사례
추론 실험을 만들 때 다음 정보를 염두에 두세요.
-
트래픽 샘플링 비율 - 추론 요청을 100% 샘플링하면 섀도우 변형이 프로모션되었을 때 프로덕션 트래픽을 처리할 수 있는지 검증할 수 있습니다. 먼저 트래픽 샘플링 비율을 낮춘 상태에서 시작했다가 변형에 대한 확신이 생기면 더 높게 올릴 수 있지만 프로모션하기 전에 트래픽을 100% 까지 늘리는 것이 가장 좋습니다.
-
인스턴스 유형 - 섀도우 변형을 사용하여 대체 인스턴스 유형이나 크기를 평가하는 경우가 아니라면, 동일한 인스턴스 유형, 크기 및 수를 사용하여 섀도우 변형을 프로모션한 후 대량의 추론 요청을 처리할 수 있도록 하는 것이 좋습니다.
-
오토 스케일링 - 섀도우 변형이 추론 요청 수의 급증이나 추론 요청 패턴의 변화에 응답할 수 있도록 하려면 섀도우 변형에 오토 스케일링을 구성하는 것이 좋습니다. 오토 스케일링을 구성하는 방법에 대한 자세한 내용은 Amazon SageMaker AI 모델의 자동 조정을 참고하세요. 오토 스케일링을 구성한 경우 사용자에게 영향을 주지 않으면서 오토 스케일링 정책의 변경 내용을 검증할 수도 있습니다.
-
지표 모니터링 - 섀도우 실험을 시작하고 충분한 호출을 확보한 후에는 지표 대시보드를 모니터링하여 지연 시간 및 오류율과 같은 지표가 허용 범위 내에 있는지 확인하세요. 이를 통해 구성 오류를 조기에 파악하고 수정 조치를 취할 수 있습니다. 진행 중인 추론 실험의 지표를 모니터링하는 방법에 대한 자세한 내용은 섀도우 테스트 보기, 모니터링 및 편집을 참고하세요.
