本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

HyperPod 推論的分解預填充和解碼

分解的預先填充和解碼 (DPD) 會將 LLM 推論的兩個階段預先填充和解碼分成專用 GPU 集區，並使用 GPU 直接遠端記憶體存取 (RDMA)，在它們之間透過 Elastic Fabric Adapter (EFA) 傳輸金鑰值 (KV) 快取。

在相同 GPU （共置） 上執行預填充和解碼時，單一長內容請求可能會停止其他用戶端的傳輸中權杖串流，在負載下增加每個權杖的延遲。DPD 會在一組 GPUs 上執行運算限制預先填入，並在另一組 GPU 上執行memory-bandwidth-bound解碼，在混合流量下產生更可預測的延遲，並讓您獨立擴展每個階段，藉此消除此干擾。

推論運算子會處理協同運作，包括佈建路由器、透過 LMCache 和 NIXL 將 Pod 預先填充和解碼，以及與 HyperPod 可觀測性整合。您可以將pdSpec區段新增至已用於推論端點的相同InferenceEndpointConfig資源，以啟用 DPD。

當 DPD 協助

當下列所有條件都存在時，DPD 可提供最大效益：

如果您的工作負載具有短輸入、低並行或使用小型模型，則標準共置部署會更簡單且效能良好。

先決條件

在部署使用分解預先填充和解碼的推論端點之前，您需要在本機開發環境中設定下列元件：

部署 DPD 端點

大多數InferenceEndpointConfig欄位會與非 DPD 端點共用，並記錄在 中部署基礎模型和自訂微調模型。若要啟用 DPD，請將下列區段新增至資訊清單。

Prefill-Decode 規格： pdSpec

宣告預先填充/解碼拓撲並指定引數。此欄位的存在是造成端點分解的原因：運算子會建立個別的部署以進行預先填充和解碼，並透過路由器和 LMCache PD 後端將它們連接在一起。

pdSpec:
  prefillSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
    args:
      - "--gpu-memory-utilization"
      - "0.75"
  decodingSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
  routingThreshold: 4096

DPD 環境變數： environmentVariables

這些環境變數會同時套用至預填充和解碼器容器；沒有每個角色的 env-var 欄位。對於每個角色行為，請pdSpec.{prefillSpec,decodingSpec}.args改用 。

environmentVariables:
  - name: PD_BUFFER_SIZE
    value: "8589934592"
  - name: LMCACHE_SAVE_DECODE_CACHE
    value: "False"
  - name: PYTHONHASHSEED
    value: "0"

設定路由策略

intelligentRoutingSpec 區段會設定 DPD 路由器用來為每個請求選取預先填入程式的路由策略。路由器pdSpec會在存在時自動建立；本節是選用的，預設為 prefixaware。

intelligentRoutingSpec:
  enabled: true
  routingStrategy: prefixaware

DPD 也可以與智慧型路由和 KV 快取整合。如需詳細資訊，請參閱設定 KV 快取和智慧型路由。

使用單一預填充複本時，所有策略都會路由到該複本。選擇只會影響下列行為prefillSpec.replicas > 1：

完成範例

下列資訊清單會在兩個 ml.p5.48xlarge 執行個體 （一個預填充物、一個解碼器） 上部署 Llama 3.3 70B：

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: dpd-test
  namespace: default
spec:
  endpointName: dpd-test
  instanceType: ml.p5.48xlarge
  invocationEndpoint: v1/chat/completions
  modelName: Llama-3.3-70B-Instruct
  modelSourceConfig:
    modelSourceType: s3
    modelLocation: Llama-3.3-70B-Instruct
    s3Storage:
      bucketName: <YOUR_BUCKET>
      region: <YOUR_REGION>
  loadBalancer:
    healthCheckPath: /health
  metrics:
    enabled: true
  kvCacheSpec:
    enableL1Cache: true
  intelligentRoutingSpec:
    enabled: true
    routingStrategy: prefixaware
  pdSpec:
    prefillSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    decodingSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    routingThreshold: 4096
  worker:
    image: public.ecr.aws/deep-learning-containers/vllm:server-hyperpod-cuda-v1.1
    args:
      - "--model"
      - "/opt/ml/model"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "8000"
      - "--tensor-parallel-size"
      - "8"
      - "--max-model-len"
      - "16384"
      - "--gpu-memory-utilization"
      - "0.75"
    modelInvocationPort:
      name: http
      containerPort: 8000
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      requests:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
      limits:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
    environmentVariables:
      - name: HF_HOME
        value: /tmp/hf_home
      - name: PD_BUFFER_SIZE
        value: "8589934592"
      - name: LMCACHE_SAVE_DECODE_CACHE
        value: "False"
      - name: PYTHONHASHSEED
        value: "0"

套用資訊清單：

kubectl apply -f inference_endpoint_dpd_config.yaml

驗證部署

影像提取和模型載入需要幾分鐘的時間。監控 Pod 狀態：

kubectl get pods -A \
  | grep -E "prefill-|decode-|router"

運作狀態良好的部署會顯示：

NAMESPACE                   NAME                                   READY   STATUS    RESTARTS   AGE
default                     prefill-dpd-test-XXXX                  3/3     Running   0          7m
default                     decode-dpd-test-XXXX                   3/3     Running   0          7m
hyperpod-inference-system   dpd-test-router-XXXX                   2/2     Running   0          7m

每個模型 Pod 都有 3 個容器 (vLLM 工作者、Nginx 反向代理、OpenTelemetry 收集器）。路由器 Pod 有 2 個容器 （路由器、OpenTelemetry 收集器）。檢查InferenceEndpointConfig狀態：

kubectl get inferenceendpointconfig dpd-test -n default \
  -o jsonpath='{.status.conditions[0].message}{"\n"}'

預期的輸出： DPD prefill and decode deployments are ready

驗證 DPD 角色

確認預填充物報告sender和解碼器報告 receiver。這是區分程度最高的啟動訊號 - 如果兩個 Pod 都報告相同的角色，或兩者都不列印該行，則運算子未正確連接 DPD。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

kubectl logs $PREFILL_POD -n ${NAMESPACE} -c prefill-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

預期的輸出結果：

'pd_role': 'sender'
'pd_role': 'receiver'

調用端點

端點就緒後，傳送一小段和長段提示來練習兩個路由路徑，然後檢查日誌以確認透過 EFA 傳輸 KV。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

ROUTER_POD=$(kubectl get pods -n hyperpod-inference-system -o name \
  | grep -- "${DEPLOYMENT_NAME}-${NAMESPACE}-router" | head -1)

ROUTER_URL=http://${DEPLOYMENT_NAME}-${NAMESPACE}-routing-service.hyperpod-inference-system.svc.cluster.local:443/v1/chat/completions

短提示 （低於閾值，直接至解碼器）

字符少於routingThreshold繞過預填充物並直接前往解碼器的請求：

kubectl run curl-short --rm -it --image=curlimages/curl --restart=Never -- \
  curl -s -k -X POST "$ROUTER_URL" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "/opt/ml/model",
      "messages": [{"role": "user", "content": "What is disaggregated prefill-decode in one sentence?"}],
      "max_tokens": 80,
      "temperature": 0.0
    }'

長提示 （超過閾值，DPD 路徑）

請求超過透過 KV 快取運算預填充器的閾值路由，然後傳送至解碼器進行權杖產生：

kubectl run curl-long --rm -it --image=curlimages/curl --restart=Never -- sh -c '
LONG=""
i=0; while [ $i -lt 600 ]; do LONG="${LONG}The quick brown fox jumps over the lazy dog. "; i=$((i+1)); done
curl -s -k -X POST "'"$ROUTER_URL"'" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"/opt/ml/model\",\"messages\":[{\"role\":\"user\",\"content\":\"${LONG}\"}],\"max_tokens\":30,\"temperature\":0.0}"
'

驗證 KV 傳輸

傳送長提示後，檢查解碼器日誌以確認 KV 快取已傳輸：

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -E "Retrieved.*tokens.*throughput" | tail -2

預期的輸出 （每個 TP 排名一行）：

[Worker_TP5] [LMCache INFO] [req_id=cmpl-...] Retrieved 6035 out of 6035 required tokens (from 6035 total tokens).
   size: 0.2344 gb, cost 1.3304 ms, throughput: 176.1686 GB/s

Retrieved N out of N required tokens N > 0 的 會確認 KV 快取成功跨過 NIXL 頻道。如果您看到 Retrieved 0 out of N，解碼器會下降回本機重新計算 — 請參閱 分解預填充和解碼 (DPD) 部署問題。

您也可以在路由器日誌中驗證路由決策：

kubectl logs $ROUTER_POD -n hyperpod-inference-system -c router-container --tail=20 \
  | grep -E "Conditional routing"

對於長提示，您應該會看到：

[INFO] Conditional routing: estimated_tokens=6750, threshold=4096, disaggregate=True

針對簡短提示：

[INFO] Conditional routing: estimated_tokens=12, threshold=4096, disaggregate=False

可觀測性

在 metrics.enabled: true中設定 以啟用指標InferenceEndpointConfig。DPD 指標可在 HyperPod 推論儀表板中使用。如需詳細資訊，請參閱在 HyperPod 叢集上實作推論可觀測性。

可使用下列 DPD 特定指標：

調校您的 DPD 部署

下表提供根據您在指標儀表板中觀察到的症狀調校 DPD 的快速參考。

使用實際工作負載和輸入長度分佈進行測試。

若要套用組態變更，請編輯您的部署 YAML 並重新套用：

kubectl apply -f inference_endpoint_dpd_config.yaml

已知限制

如需 DPD 部署的故障診斷，請參閱 分解預填充和解碼 (DPD) 部署問題。