기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 가중치 캐싱 및 이미지 캐싱

추론 배포를 확장할 때 각 새 포드는 레지스트리에서 추론 서버 컨테이너 이미지를 가져와야 합니다. 또한 트래픽을 처리하기 전에 원격 스토리지(Amazon S3 또는 Amazon FSx)에서 모델 가중치를 다운로드해야 합니다. 대규모 언어 모델의 경우 모델 가중치를 다운로드하고 컨테이너 이미지를 가져오는 것이 콜드 스타트 지연 시간에 가장 큰 영향을 미칩니다.

스케일 아웃 중에 이러한 병목 현상을 제거하려면 Amazon SageMaker HyperPod 추론에서 다음 호스트-로컬 캐싱 메커니즘 중 하나 또는 둘 다를 구성합니다.

InferenceEndpointConfig 또는 JumpStartModel 배포의 modelCacheConfig 필드를 통해 두 캐싱 메커니즘을 모두 구성합니다.

가중치 캐싱 및 이미지 캐싱을 독립적으로 또는 함께 활성화할 수 있습니다. 두 기능 모두 Amazon SageMaker JumpStart 배포(개방 가중치 및 게이트 모델 모두) 및 Amazon S3 또는 Amazon FSx의 사용자 지정 모델을 포함하여 모든 Amazon SageMaker HyperPod 추론 모델 소스에서 작동합니다. Amazon S3 FSx

사전 조건

캐싱을 활성화하기 전에 다음을 확인합니다.

모델 가중치 캐싱 및 이미지 캐싱 구성

InferenceEndpointConfig 또는 JumpStartModel 리소스spec의에 modelCacheConfig 블록을 추가합니다. 다음 예제에서는 모델 가중치 캐싱과 이미지 캐싱을 모두 활성화합니다.

spec:
  # ... model source, worker, and TLS configuration ...
  modelCacheConfig:
    weightsCache:
      enabled: true
      hostPath: /opt/dlami/nvme
    imageCache:
      enabled: true

modelCacheConfig 필드는 다음 하위 필드를 지원합니다.

모델 가중치 캐싱 작동 방식

weightsCache.enabled가 인 경우 true운영자는 추론 포드가 트래픽 제공을 시작하기 전에 원격 모델 소스(Amazon S3 또는 Amazon FSx)에서 각 적격 노드의 호스트-로컬 NVMe 스토리지로 모델 가중치를 다운로드합니다. 추론 포드는 캐시된 가중치를 읽기 전용으로 탑재하고 원격 소스에서 모델을 반복적으로 다운로드하는 대신 로컬 스토리지에서 모델을 로드합니다.

연산자는 추론 배포의 예약 제약 조건과 일치하는 노드의 캐시를 채우고 캐시가 웜 상태일 때 각 노드에 레이블을 지정합니다. 추론 배포는이 레이블에서 선호하는 노드 선호도를 사용하므로 포드는 사용 가능한 경우 웜 노드에 예약되지만 다른 곳에서는 예약할 수 있습니다.

이미지 캐싱 작동 방식

imageCache.enabled가 이면 연산true자는 추론 서버 컨테이너 이미지를 대상 노드로 미리 끌어옵니다. 이미지가 이미 노드에 있기 때문에 새 추론 포드는 포드 시작을 지연시키는 콜드 이미지 풀을 방지합니다. 이는 대규모 추론 서버 이미지와 자주 확장되는 배포에 특히 유용합니다.

이미지 캐싱은 모델 가중치 캐싱과 독립적입니다. 자체적으로 활성화하거나 가중치 캐싱과 결합하여 스케일 아웃 중에 이미지 풀 및 가중치 다운로드 시간을 모두 줄일 수 있습니다.

캐싱이 작동하는지 확인

다음 검사를 사용하여 배포에 대해 캐싱이 활성 상태인지 확인합니다.

노드 레이블에서 웜 캐시 확인

노드의 캐시가 웜 상태이면 연산자는 캐시 준비 레이블을 적용합니다. 모델 가중치 캐싱은 접두사가 있는 레이블을 사용하고inference.sagemaker.aws.amazon.com/weights-cache-ready., 이미지 캐싱은 접두사를 사용하며inference.sagemaker.aws.amazon.com/image-cache-ready., 각 접미사에는 캐시 구성의 UID가 붙습니다.

kubectl get nodes --show-labels | grep "cache-ready"

출력 없음은 아직 캐시를 워밍한 노드가 없음을 의미합니다.

캐시 탑재에 대한 포드 이벤트 확인

추론 포드를 검사하고 호스트 로컬 캐시 경로를 읽기 전용으로 탑재하는지 확인합니다. hostPath 볼륨이 없으면 포드가 원격 스토리지에서 가중치를 로드하는 것입니다.

kubectl describe pod inference-pod-name -n namespace

운영자 로그 확인

추론 연산자 로그에서 캐시 워밍업 활동 또는 오류를 검토합니다.

kubectl logs -n hyperpod-inference-system deployment/hyperpod-inference-controller-manager | grep -i "cache"

문제 해결

고려 사항