기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HyperPod 추론을 위한 분해된 사전 채우기 및 디코딩

DPD(Disaggregated Prefill and Decode)는 LLM 추론의 두 단계인 사전 채우기 및 디코딩을 전용 GPU 풀로 분리하고 GPU-Direct Remote Direct Memory Access(RDMA)를 사용하여 EFA(Elastic Fabric Adapter)를 통해 키-값(KV) 캐시를 전송합니다.

동일한 GPU(콜로케이션)에서 사전 채우기 및 디코딩을 실행할 때 단일 긴 컨텍스트 요청이 다른 클라이언트의 진행 중인 토큰 스트림을 중지하여 로드 시 토큰당 지연 시간을 팽창시킬 수 있습니다. DPD는 한 GPU 세트에서 컴퓨팅 바운드 프리필을 실행하고 다른 GPUs 세트에서 memory-bandwidth-bound운드 디코딩을 실행하여 혼합 트래픽에서 더 예측 가능한 지연 시간을 생성하고 각 단계를 독립적으로 확장할 수 있으므로 이러한 간섭을 제거합니다.

추론 연산자는 라우터 프로비저닝, LMCache 및 NIXL을 통해 포드 사전 채우기 및 디코딩 연결, HyperPod 관찰성과의 통합을 포함하는 오케스트레이션을 처리합니다. 추론 엔드포인트에 이미 사용하는 것과 동일한 InferenceEndpointConfig 리소스에 pdSpec 섹션을 추가하여 DPD를 활성화할 수 있습니다.

DPD가 도움이 되는 경우

DPD는 다음 조건이 모두 존재할 때 가장 큰 이점을 제공합니다.

워크로드에 짧은 입력이 있거나 동시성이 낮거나 작은 모델을 사용하는 경우 표준 공동 배치 배포가 더 간단하고 성능이 좋습니다.

사전 조건

분해된 사전 채우기 및 디코딩을 사용하는 추론 엔드포인트를 배포하기 전에 로컬 개발 환경에 다음 구성 요소를 설정해야 합니다.

DPD 엔드포인트 배포

대부분의 InferenceEndpointConfig 필드는 비 DPD 엔드포인트와 공유되며에 문서화됩니다파운데이션 모델 및 사용자 지정 미세 조정 모델 배포. DPD를 활성화하려면 매니페스트에 다음 섹션을 추가합니다.

사전 채우기 디코딩 사양: pdSpec

사전 채우기/디코딩 토폴로지를 선언하고 인수를 지정합니다. 이 필드가 있으면 엔드포인트가 분해됩니다. 운영자는 사전 채우기 및 디코딩을 위해 별도의 배포를 생성하고 라우터 및 LMCache PD 백엔드를 통해 함께 연결합니다.

pdSpec:
  prefillSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
    args:
      - "--gpu-memory-utilization"
      - "0.75"
  decodingSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
  routingThreshold: 4096

DPD 환경 변수: environmentVariables

이러한 환경 변수는 프리필러 및 디코더 컨테이너 모두에 동일하게 적용되며, 역할별 env-var 필드는 없습니다. 역할별 동작의 경우 pdSpec.{prefillSpec,decodingSpec}.args 대신를 사용합니다.

environmentVariables:
  - name: PD_BUFFER_SIZE
    value: "8589934592"
  - name: LMCACHE_SAVE_DECODE_CACHE
    value: "False"
  - name: PYTHONHASHSEED
    value: "0"

라우팅 전략 구성

이 intelligentRoutingSpec 섹션에서는 DPD 라우터가 각 요청에 대한 프리필러를 선택하는 데 사용하는 라우팅 전략을 설정합니다. 이 pdSpec 있으면 라우터가 자동으로 생성됩니다.이 섹션은 선택 사항이며 기본값은 입니다prefixaware.

intelligentRoutingSpec:
  enabled: true
  routingStrategy: prefixaware

DPD를 지능형 라우팅 및 KV 캐싱과 통합할 수도 있습니다. 자세한 내용은 KV 캐싱 및 지능형 라우팅 구성 단원을 참조하십시오.

단일 사전 채우기 복제본을 사용하면 모든 전략이 해당 복제본으로 라우팅됩니다. 선택 사항은 prefillSpec.replicas > 1다음과 같은 경우에만 동작에 영향을 줍니다.

전체 예제

다음 매니페스트는 2개의 ml.p5.48xlarge 인스턴스(프리필러 1개, 디코더 1개)에 Llama 3.3 70B를 배포합니다.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: dpd-test
  namespace: default
spec:
  endpointName: dpd-test
  instanceType: ml.p5.48xlarge
  invocationEndpoint: v1/chat/completions
  modelName: Llama-3.3-70B-Instruct
  modelSourceConfig:
    modelSourceType: s3
    modelLocation: Llama-3.3-70B-Instruct
    s3Storage:
      bucketName: <YOUR_BUCKET>
      region: <YOUR_REGION>
  loadBalancer:
    healthCheckPath: /health
  metrics:
    enabled: true
  kvCacheSpec:
    enableL1Cache: true
  intelligentRoutingSpec:
    enabled: true
    routingStrategy: prefixaware
  pdSpec:
    prefillSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    decodingSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    routingThreshold: 4096
  worker:
    image: public.ecr.aws/deep-learning-containers/vllm:server-hyperpod-cuda-v1.1
    args:
      - "--model"
      - "/opt/ml/model"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "8000"
      - "--tensor-parallel-size"
      - "8"
      - "--max-model-len"
      - "16384"
      - "--gpu-memory-utilization"
      - "0.75"
    modelInvocationPort:
      name: http
      containerPort: 8000
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      requests:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
      limits:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
    environmentVariables:
      - name: HF_HOME
        value: /tmp/hf_home
      - name: PD_BUFFER_SIZE
        value: "8589934592"
      - name: LMCACHE_SAVE_DECODE_CACHE
        value: "False"
      - name: PYTHONHASHSEED
        value: "0"

매니페스트를 적용합니다.

kubectl apply -f inference_endpoint_dpd_config.yaml

배포 확인

이미지 가져오기 및 모델 로드에는 몇 분 정도 걸립니다. 포드 상태 모니터링:

kubectl get pods -A \
  | grep -E "prefill-|decode-|router"

정상 배포는 다음을 보여줍니다.

NAMESPACE                   NAME                                   READY   STATUS    RESTARTS   AGE
default                     prefill-dpd-test-XXXX                  3/3     Running   0          7m
default                     decode-dpd-test-XXXX                   3/3     Running   0          7m
hyperpod-inference-system   dpd-test-router-XXXX                   2/2     Running   0          7m

각 모델 포드에는 3개의 컨테이너(vLLM 작업자, Nginx 역방향 프록시, OpenTelemetry 수집기)가 있습니다. 라우터 포드에는 2개의 컨테이너(라우터, OpenTelemetry 수집기)가 있습니다. InferenceEndpointConfig 상태를 확인합니다.

kubectl get inferenceendpointconfig dpd-test -n default \
  -o jsonpath='{.status.conditions[0].message}{"\n"}'

예상 결과: DPD prefill and decode deployments are ready

DPD 역할 확인

프리필러 보고서sender와 디코더 보고서를 확인합니다receiver. 이는 가장 구별되는 단일 시작 신호입니다. 두 포드가 동일한 역할을 보고하거나 둘 다 줄을 인쇄하지 않으면 연산자가 DPD를 올바르게 연결하지 않은 것입니다.

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

kubectl logs $PREFILL_POD -n ${NAMESPACE} -c prefill-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

예상 결과:

'pd_role': 'sender'
'pd_role': 'receiver'

API 엔드포인트 호출

엔드포인트가 준비되면 짧고 긴 프롬프트를 보내 두 라우팅 경로를 모두 연습한 다음 로그를 확인하여 EFA를 통한 KV 전송을 확인합니다.

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

ROUTER_POD=$(kubectl get pods -n hyperpod-inference-system -o name \
  | grep -- "${DEPLOYMENT_NAME}-${NAMESPACE}-router" | head -1)

ROUTER_URL=http://${DEPLOYMENT_NAME}-${NAMESPACE}-routing-service.hyperpod-inference-system.svc.cluster.local:443/v1/chat/completions

짧은 프롬프트(임계값 미만, 디코더로 직접)

프리필러를 routingThreshold 우회하고 디코더로 직접 이동하는 것보다 토큰이 적은 요청:

kubectl run curl-short --rm -it --image=curlimages/curl --restart=Never -- \
  curl -s -k -X POST "$ROUTER_URL" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "/opt/ml/model",
      "messages": [{"role": "user", "content": "What is disaggregated prefill-decode in one sentence?"}],
      "max_tokens": 80,
      "temperature": 0.0
    }'

긴 프롬프트(임계값 초과, DPD 경로)

KV 캐시 계산을 위한 프리필러를 통해 임곗값을 초과하는 요청은 토큰 생성을 위해 디코더로 라우팅됩니다.

kubectl run curl-long --rm -it --image=curlimages/curl --restart=Never -- sh -c '
LONG=""
i=0; while [ $i -lt 600 ]; do LONG="${LONG}The quick brown fox jumps over the lazy dog. "; i=$((i+1)); done
curl -s -k -X POST "'"$ROUTER_URL"'" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"/opt/ml/model\",\"messages\":[{\"role\":\"user\",\"content\":\"${LONG}\"}],\"max_tokens\":30,\"temperature\":0.0}"
'

KV 전송 확인

긴 프롬프트를 전송한 후 디코더 로그를 확인하여 KV 캐시가 전송되었는지 확인합니다.

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -E "Retrieved.*tokens.*throughput" | tail -2

예상 출력(TP 순위당 한 줄):

[Worker_TP5] [LMCache INFO] [req_id=cmpl-...] Retrieved 6035 out of 6035 required tokens (from 6035 total tokens).
   size: 0.2344 gb, cost 1.3304 ms, throughput: 176.1686 GB/s

Retrieved N out of N required tokens N > 0이면 KV 캐시가 NIXL 채널을 성공적으로 통과했음을 확인합니다. 가 표시되면 디코더Retrieved 0 out of N가 로컬 다시 계산으로 떨어졌습니다. 단원을 참조하십시오분해된 사전 채우기 및 디코딩(DPD) 배포 문제.

라우터 로그에서 라우팅 결정을 확인할 수도 있습니다.

kubectl logs $ROUTER_POD -n hyperpod-inference-system -c router-container --tail=20 \
  | grep -E "Conditional routing"

긴 프롬프트의 경우 다음이 표시되어야 합니다.

[INFO] Conditional routing: estimated_tokens=6750, threshold=4096, disaggregate=True

짧은 프롬프트의 경우:

[INFO] Conditional routing: estimated_tokens=12, threshold=4096, disaggregate=False

관찰성

metrics.enabled: true에서를 설정하여 지표를 활성화합니다InferenceEndpointConfig. DPD 지표는 HyperPod 추론 대시보드에서 사용할 수 있습니다. 자세한 내용은 HyperPod 클러스터에서 추론 관찰성 구현 단원을 참조하십시오.

다음과 같은 DPD별 지표를 사용할 수 있습니다.

DPD 배포 조정

다음 표는 지표 대시보드에서 관찰한 증상을 기반으로 DPD를 튜닝하기 위한 빠른 참조를 제공합니다.

실제 워크로드 및 입력 길이 분포로 테스트합니다.

구성 변경 사항을 적용하려면 배포 YAML을 편집하고 다시 적용합니다.

kubectl apply -f inference_endpoint_dpd_config.yaml

알려진 제한 사항

DPD 배포 문제 해결은 섹션을 참조하세요분해된 사전 채우기 및 디코딩(DPD) 배포 문제.