SageMaker Hosting Services에 모델을 배포하는 모범 사례

일반적으로 클라이언트 애플리케이션은 배포된 모델에서 추론을 얻기 위해 SageMaker HTTPS 엔드포인트에 요청을 보냅니다. 또한 테스트 도중 Jupyter notebook으로부터 이 엔드포인트로 요청을 전송할 수 있습니다.

로 훈련된 모델을 자체 배포 대상 SageMaker 에 배포할 수 있습니다. 이렇게 하려면 모델 훈련으로 생성된 모델 결과물의 알고리즘별 형식을 알아야 합니다. 출력 형식에 대한 자세한 정보는 훈련을 위한 공통 데이터 형식에서 사용 중인 알고리즘과 관련이 있는 단원을 참조하세요.

모델의 여러 변형을 동일한 SageMaker HTTPS 엔드포인트에 배포할 수 있습니다. 이는 프로덕션에 있는 모델의 변형을 테스트하는 데 유용합니다. 예를 들어, 모델을 프로덕션으로 배포했다고 가정합니다. 소량의 트래픽(예: 5%)을 새 모델로 보내서 모델의 변형을 테스트하려고 합니다. 이렇게 하려면 모델의 변형을 모두 설명하는 엔드포인트 구성을 생성합니다. 요청에 있는 ProductionVariant를 CreateEndPointConfig로 지정합니다. 자세한 내용은 ProductionVariant 단원을 참조하십시오.

ProductionVariant을(를) 구성하여 Application Auto Scaling을 사용할 수 있습니다. 자동 조정 구성에 대한 자세한 정보는 Amazon SageMaker 모델의 자동 조정 단원을 참조하세요.

이미 서비스 불가능한 프로덕션으로 배포된 모델을 가져오지 않고 엔드포인트를 수정할 수 있습니다. 예를 들어 새 모델 변형을 추가하고, 기존 모델 변형의 ML 컴퓨팅 인스턴스 구성을 업데이트하거나 모델 변형 간 트래픽 배포를 변경할 수 있습니다. 엔드포인트를 수정하려면 새 엔드포인트 구성을 제공합니다. 는 가동 중지 없이 변경 사항을 SageMaker 구현합니다. 자세한 내용은 UpdateEndpoint 및 섹션을 참조하세요UpdateEndpointWeightsAndCapacities.

모델 배포 이후 모델 결과물을 변경 또는 삭제하거나 추론 코드를 변경하면 예측할 수 없는 결과가 생산됩니다. 모델 결과물을 변경 또는 삭제하거나 추론 코드를 변경해야 하는 경우 새 엔드포인트 구성을 제공함으로써 엔드포인트를 수정합니다. 새 엔드포인트 구성을 제공한 이후 기존 엔드포인트 구성에 따라 모델 결과물을 변경 또는 삭제할 수 있습니다.

전체 데이터 세트에서 추론을 가져오려는 경우 호스팅 서비스의 대안으로 배치 변환 사용을 고려해 보세요. 자세한 정보는 Amazon을 사용한 추론을 위한 배치 변환 SageMaker 단원을 참조하세요.