기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 추가 또는 제거
다중 모델 엔드포인트에 추가 모델을 배포하고 해당 엔드포인트를 통해 이를 즉시 호출할 수 있습니다. 새 모델을 추가할 때 엔드포인트를 업데이트하거나 다운그레이드할 필요가 없으므로 각각의 새 모델에 대해 별도의 엔드포인트를 생성하고 실행하는 데 드는 비용을 피할 수 있습니다. 모델 추가 및 제거 프로세스는 CPU 및 GPU지원 다중 모델 엔드포인트에 대해 동일합니다.
SageMaker 는 인스턴스가 메모리 용량에 도달하고 더 많은 모델을 컨테이너에 다운로드해야 할 때 컨테이너에서 미사용 모델을 언로드합니다. SageMaker 또한 는 볼륨이 용량에 도달하고 새 모델을 다운로드해야 할 때 인스턴스 스토리지 볼륨에서 미사용 모델 아티팩트를 삭제합니다. 엔드포인트에서는 모델을 S3에서 호스팅하는 인스턴스의 컨테이너 메모리로 모델을 다운로드하는 데 시간이 걸리기 때문에 새로 추가된 모델에 대한 첫 번째 호출에는 시간이 더 오래 걸립니다.
엔드포인트가 이미 실행 중인 상태에서 새로운 모델 아티팩트 세트를 모델이 저장된 Amazon S3 위치에 복사합니다.
# Add an AdditionalModel to the endpoint and exercise it aws s3 cp AdditionalModel.tar.gz s3://amzn-s3-demo-bucket/path/to/artifacts/
중요
모델을 업데이트하려면 새 모델을 추가할 때와 같이 진행합니다. 고유한 새 이름을 사용합니다. 이전 버전의 모델이 여전히 컨테이너나 엔드포인트에 있는 인스턴스의 스토리지 볼륨에 로드될 수 있으므로 Amazon S3에서 모델 아티팩트를 덮어쓰지 마세요. 새 모델을 호출하면 이전 버전의 모델을 호출할 수 있습니다.
클라이언트 애플리케이션은 S3에 저장되는 즉시 추가 대상 모델에서 예측을 요청할 수 있습니다.
response = runtime_sagemaker_client.invoke_endpoint( EndpointName='<ENDPOINT_NAME>', ContentType='text/csv', TargetModel='AdditionalModel.tar.gz', Body=body)
다중 모델 엔드포인트에서 모델을 삭제하려면 클라이언트에서 모델 호출을 중지하고 모델 아티팩트가 저장된 S3 위치에서 모델을 제거합니다.
