기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
SageMaker 다중 모델 엔드포인트 모델 캐싱 동작 설정
기본적으로 다중 모델 엔드포인트는 메모리(CPU 인스턴스가 있거나 GPU 지원되었는지에 GPU따라 CPU 또는 ) 및 디스크에서 모델을 자주 캐시하여 지연 시간이 짧은 추론을 제공합니다. 캐시된 모델은 컨테이너의 메모리나 디스크 공간이 부족하여 새로 대상 지정된 모델을 수용할 수 없는 경우에만 디스크에서 언로드 및/또는 삭제됩니다.
create_modelModelCacheSetting을 설정하여 다중 모델 엔드포인트의 캐싱 동작을 변경하고 모델 캐싱을 명시적으로 활성화 또는 비활성화할 수 있습니다.
모델 캐싱의 이점이 없는 사용 사례의 경우 ModelCacheSetting 파라미터 값을 Disabled로 설정하는 것이 좋습니다. 많은 수의 모델을 엔드포인트에서 제공해야 하는데 각 모델이 한 번만(또는 매우 이따금씩) 호출되는 경우를 예로 들 수 있습니다. 이러한 사용 사례의 경우 기본 캐싱 모드에 비해 invoke_endpoint 요청에 대해 초당 트랜잭션(TPS)이 Disabled 더 높도록 ModelCacheSetting 파라미터 값을 설정합니다. 이러한 사용 사례TPS에서 더 높은 이유는 invoke_endpoint 요청 후 가 다음을 SageMaker 수행하기 때문입니다.
-
모델을 메모리에서 비동기식으로 언로드하고 간접 호출된 직후 디스크에서 모델을 삭제합니다.
-
추론 컨테이너에서 모델을 다운로드하고 로드할 때 더 높은 동시성을 제공합니다. CPU 및 GPU 지원되는 엔드포인트 모두에서 동시성은 컨테이너 인스턴스 수 vCPUs 의 요인입니다.
다중 모델 엔드포인트의 SageMaker ML 인스턴스 유형을 선택하는 방법에 대한 지침은 섹션을 참조하세요다중 모델 엔드포인트 배포를 위한 인스턴스 권장 사항.
