Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prefill dan Decode terpilah untuk inferensi HyperPod

Disaggregated Prefill and Decode (DPD) memisahkan dua fase inferensi LLM, prefill dan decode, ke pool GPU khusus dan mentransfer cache nilai kunci (KV) di antara mereka melalui Elastic Fabric Adapter (EFA) menggunakan Remote Direct Memory Access (RDMA). GPU-Direct

Saat prefill dan decode berjalan pada GPU yang sama (colocated), satu permintaan konteks panjang dapat menghentikan aliran token dalam penerbangan untuk klien lain, meningkatkan latensi per token saat dimuat. DPD menghilangkan interferensi ini dengan menjalankan prefill terikat komputasi pada satu set GPU dan decode terikat bandwidth memori pada yang lain, menghasilkan latensi yang lebih dapat diprediksi di bawah lalu lintas campuran dan memungkinkan Anda menskalakan setiap fase secara independen.

Operator inferensi menangani orkestrasi, yang mencakup penyediaan router, pengkabelan prefill dan decode pod bersama-sama melalui LMCache dan NIXL, dan mengintegrasikan dengan observabilitas. HyperPod Anda dapat mengaktifkan DPD dengan menambahkan pdSpec bagian ke InferenceEndpointConfig sumber daya yang sama yang sudah Anda gunakan untuk titik akhir inferensi.

Ketika DPD membantu

DPD memberikan manfaat paling besar ketika semua kondisi berikut hadir:

Jika beban kerja Anda memiliki input pendek, konkurensi rendah, atau menggunakan model kecil, penerapan kolokasi standar lebih sederhana dan berkinerja baik.

Prasyarat

Sebelum menerapkan titik akhir inferensi yang menggunakan Disaggregated Prefill dan Decode, Anda perlu menyiapkan komponen berikut di lingkungan pengembangan lokal Anda:

Menyebarkan titik akhir DPD

Sebagian besar InferenceEndpointConfig bidang dibagi dengan titik akhir non-DPD dan didokumentasikan dalam. Terapkan model pondasi dan model penyesuaian khusus Untuk mengaktifkan DPD, tambahkan bagian berikut ke manifes Anda.

Prefill-Decode Spesifikasi: PDSpec

Mendeklarasikan prefill/decode topologi dan menentukan argumen. Kehadiran bidang inilah yang membuat titik akhir terpilah: operator membuat Deployment terpisah untuk prefill dan decode dan menghubungkannya melalui router dan backend LMCache PD.

pdSpec:
  prefillSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
    args:
      - "--gpu-memory-utilization"
      - "0.75"
  decodingSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
  routingThreshold: 4096

Variabel Lingkungan DPD: Variabel Lingkungan

Variabel lingkungan ini diterapkan secara identik ke wadah prefiller dan decoder; tidak ada bidang env-var per-peran. Untuk perilaku per peran, gunakan pdSpec.{prefillSpec,decodingSpec}.args sebagai gantinya.

environmentVariables:
  - name: PD_BUFFER_SIZE
    value: "8589934592"
  - name: LMCACHE_SAVE_DECODE_CACHE
    value: "False"
  - name: PYTHONHASHSEED
    value: "0"

Konfigurasikan strategi perutean

intelligentRoutingSpecBagian ini menetapkan strategi perutean yang digunakan router DPD untuk memilih prefiller untuk setiap permintaan. Router dibuat secara otomatis saat pdSpec ada; bagian ini opsional dan default ke. prefixaware

intelligentRoutingSpec:
  enabled: true
  routingStrategy: prefixaware

DPD juga dapat diintegrasikan dengan intelligent routing dan KV caching. Untuk informasi selengkapnya, lihat Konfigurasikan caching KV dan perutean cerdas.

Dengan replika prefill tunggal, semua strategi merutekan ke replika itu. Pilihan hanya memengaruhi perilaku ketikaprefillSpec.replicas > 1:

Contoh lengkap

Manifes berikut menerapkan Llama 3.3 70B pada dua instance ml.p5.48xlarge (satu prefiller, satu decoder):

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: dpd-test
  namespace: default
spec:
  endpointName: dpd-test
  instanceType: ml.p5.48xlarge
  invocationEndpoint: v1/chat/completions
  modelName: Llama-3.3-70B-Instruct
  modelSourceConfig:
    modelSourceType: s3
    modelLocation: Llama-3.3-70B-Instruct
    s3Storage:
      bucketName: <YOUR_BUCKET>
      region: <YOUR_REGION>
  loadBalancer:
    healthCheckPath: /health
  metrics:
    enabled: true
  kvCacheSpec:
    enableL1Cache: true
  intelligentRoutingSpec:
    enabled: true
    routingStrategy: prefixaware
  pdSpec:
    prefillSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    decodingSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    routingThreshold: 4096
  worker:
    image: public.ecr.aws/deep-learning-containers/vllm:server-hyperpod-cuda-v1.1
    args:
      - "--model"
      - "/opt/ml/model"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "8000"
      - "--tensor-parallel-size"
      - "8"
      - "--max-model-len"
      - "16384"
      - "--gpu-memory-utilization"
      - "0.75"
    modelInvocationPort:
      name: http
      containerPort: 8000
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      requests:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
      limits:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
    environmentVariables:
      - name: HF_HOME
        value: /tmp/hf_home
      - name: PD_BUFFER_SIZE
        value: "8589934592"
      - name: LMCACHE_SAVE_DECODE_CACHE
        value: "False"
      - name: PYTHONHASHSEED
        value: "0"

Terapkan manifes:

kubectl apply -f inference_endpoint_dpd_config.yaml

Verifikasi penyebaran

Penarikan gambar dan pemuatan model membutuhkan waktu beberapa menit. Pantau status pod:

kubectl get pods -A \
  | grep -E "prefill-|decode-|router"

Penyebaran yang sehat menunjukkan:

NAMESPACE                   NAME                                   READY   STATUS    RESTARTS   AGE
default                     prefill-dpd-test-XXXX                  3/3     Running   0          7m
default                     decode-dpd-test-XXXX                   3/3     Running   0          7m
hyperpod-inference-system   dpd-test-router-XXXX                   2/2     Running   0          7m

Setiap pod model memiliki 3 kontainer (pekerja VllM, proxy terbalik Nginx, kolektor). OpenTelemetry Pod router memiliki 2 kontainer (router, OpenTelemetry kolektor). Periksa InferenceEndpointConfig statusnya:

kubectl get inferenceendpointconfig dpd-test -n default \
  -o jsonpath='{.status.conditions[0].message}{"\n"}'

Output yang diharapkan: DPD prefill and decode deployments are ready

Verifikasi peran DPD

Konfirmasikan laporan prefiller sender dan laporan decoder. receiver Ini adalah satu-satunya sinyal startup yang paling diskriminatif — jika kedua pod melaporkan peran yang sama atau tidak mencetak saluran, operator tidak menghubungkan DPD dengan benar.

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

kubectl logs $PREFILL_POD -n ${NAMESPACE} -c prefill-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

Keluaran yang diharapkan

'pd_role': 'sender'
'pd_role': 'receiver'

Memanggil titik akhir

Setelah titik akhir siap, kirim prompt pendek dan panjang untuk melatih kedua jalur perutean, lalu periksa log untuk mengonfirmasi transfer KV melalui EFA.

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

ROUTER_POD=$(kubectl get pods -n hyperpod-inference-system -o name \
  | grep -- "${DEPLOYMENT_NAME}-${NAMESPACE}-router" | head -1)

ROUTER_URL=http://${DEPLOYMENT_NAME}-${NAMESPACE}-routing-service.hyperpod-inference-system.svc.cluster.local:443/v1/chat/completions

Prompt pendek (di bawah ambang batas, langsung ke decoder)

Permintaan dengan token lebih sedikit daripada routingThreshold melewati prefiller dan langsung menuju ke decoder:

kubectl run curl-short --rm -it --image=curlimages/curl --restart=Never -- \
  curl -s -k -X POST "$ROUTER_URL" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "/opt/ml/model",
      "messages": [{"role": "user", "content": "What is disaggregated prefill-decode in one sentence?"}],
      "max_tokens": 80,
      "temperature": 0.0
    }'

Long prompt (melebihi ambang batas, jalur DPD)

Permintaan yang melebihi rute ambang batas melalui prefiller untuk perhitungan cache KV, lalu ke dekoder untuk pembuatan token:

kubectl run curl-long --rm -it --image=curlimages/curl --restart=Never -- sh -c '
LONG=""
i=0; while [ $i -lt 600 ]; do LONG="${LONG}The quick brown fox jumps over the lazy dog. "; i=$((i+1)); done
curl -s -k -X POST "'"$ROUTER_URL"'" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"/opt/ml/model\",\"messages\":[{\"role\":\"user\",\"content\":\"${LONG}\"}],\"max_tokens\":30,\"temperature\":0.0}"
'

Verifikasi transfer KV

Setelah mengirim prompt yang panjang, konfirmasikan cache KV ditransfer dengan memeriksa log decoder:

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -E "Retrieved.*tokens.*throughput" | tail -2

Output yang diharapkan (satu baris per peringkat TP):

[Worker_TP5] [LMCache INFO] [req_id=cmpl-...] Retrieved 6035 out of 6035 required tokens (from 6035 total tokens).
   size: 0.2344 gb, cost 1.3304 ms, throughput: 176.1686 GB/s

Retrieved N out of N required tokensdengan N > 0 mengonfirmasi cache KV berhasil melintasi saluran NIXL. Jika Anda lihatRetrieved 0 out of N, decoder kembali ke perhitungan ulang lokal — lihat. Masalah penyebaran Prefill and Decode (DPD) terpilah

Anda juga dapat memverifikasi keputusan perutean di log router:

kubectl logs $ROUTER_POD -n hyperpod-inference-system -c router-container --tail=20 \
  | grep -E "Conditional routing"

Untuk prompt panjang, Anda akan melihat:

[INFO] Conditional routing: estimated_tokens=6750, threshold=4096, disaggregate=True

Untuk prompt singkat:

[INFO] Conditional routing: estimated_tokens=12, threshold=4096, disaggregate=False

Observabilitas

Aktifkan metrik dengan menyetel metrics.enabled: true di AndaInferenceEndpointConfig. Metrik DPD tersedia di dasbor HyperPod inferensi. Untuk informasi selengkapnya, lihat Menerapkan observabilitas inferensi pada cluster HyperPod.

DPD-specific Metrik berikut tersedia:

Sesuaikan penerapan DPD Anda

Tabel berikut memberikan referensi cepat untuk menyetel DPD berdasarkan gejala yang Anda amati di dasbor metrik Anda.

Uji dengan beban kerja aktual Anda dan distribusi panjang input.

Untuk menerapkan perubahan konfigurasi, edit penerapan YAMM Anda dan terapkan kembali:

kubectl apply -f inference_endpoint_dpd_config.yaml

Keterbatasan yang Sudah Diketahui

Untuk pemecahan masalah penyebaran DPD, lihat. Masalah penyebaran Prefill and Decode (DPD) terpilah