翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

HyperPod 推論の集約解除された事前入力とデコード

非集約事前入力とデコード (DPD) は、LLM 推論の 2 つのフェーズである事前入力とデコードを専用の GPU プールに分割し、GPU-Direct Remote Direct Memory Access (RDMA) を使用して Elastic Fabric Adapter (EFA) 経由でキーバリュー (KV) キャッシュを転送します。

同じ GPU (コロケーション) で事前入力とデコードを実行すると、1 つのロングコンテキストリクエストで他のクライアントの処理中のトークンストリームが停止し、ロード中のトークンごとのレイテンシーが増大する可能性があります。DPD は、ある GPU のセットでコンピューティングバウンドプリフィルを実行し、別の GPUs のセットでmemory-bandwidth-boundドデコードを実行することで、この干渉を排除し、混合トラフィックでより予測可能なレイテンシーを生成し、各フェーズを個別にスケールできるようにします。

推論演算子はオーケストレーションを処理します。これには、ルーターのプロビジョニング、LMCache と NIXL を介したポッドの事前入力とデコードの配線、HyperPod オブザーバビリティとの統合が含まれます。推論エンドポイントに既に使用しているのと同じInferenceEndpointConfigリソースにpdSpecセクションを追加することで、DPD を有効にできます。

DPD が役立つ場合

DPD は、以下の条件がすべて存在する場合に最大の利点を提供します。

ワークロードの入力が短い、同時実行性が低い、または小さなモデルを使用している場合、標準のコロケーションデプロイはより簡単でうまく機能します。

前提条件

Disaggregated Prefill and Decode を使用する推論エンドポイントをデプロイする前に、ローカル開発環境で以下のコンポーネントを設定する必要があります。

DPD エンドポイントをデプロイする

ほとんどのInferenceEndpointConfigフィールドは、DPD 以外のエンドポイントと共有され、「」で説明されています基盤モデルとカスタムファインチューニングされたモデルをデプロイする。DPD を有効にするには、マニフェストに以下のセクションを追加します。

事前入力/デコード仕様: pdSpec

事前入力/デコードトポロジを宣言し、引数を指定します。このフィールドが存在すると、エンドポイントが分離されます。オペレータは、事前入力とデコード用に個別のデプロイを作成し、ルーターと LMCache PD バックエンドを介してそれらを接続します。

pdSpec:
  prefillSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
    args:
      - "--gpu-memory-utilization"
      - "0.75"
  decodingSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
  routingThreshold: 4096

DPD 環境変数: environmentVariables

これらの環境変数は、プリフィラーコンテナとデコーダーコンテナの両方に同じように適用されます。ロールごとの env-var フィールドはありません。ロールごとの動作には、pdSpec.{prefillSpec,decodingSpec}.args代わりに を使用します。

environmentVariables:
  - name: PD_BUFFER_SIZE
    value: "8589934592"
  - name: LMCACHE_SAVE_DECODE_CACHE
    value: "False"
  - name: PYTHONHASHSEED
    value: "0"

ルーティング戦略を設定する

このセクションでは、DPD ルーターが各リクエストのプリフィラーを選択するために使用するルーティング戦略intelligentRoutingSpecを設定します。ルーターは、 pdSpecが存在するときに自動的に作成されます。このセクションはオプションで、デフォルトは ですprefixaware。

intelligentRoutingSpec:
  enabled: true
  routingStrategy: prefixaware

DPD は、インテリジェントなルーティングと KV キャッシュと統合することもできます。詳細については、「KV キャッシュとインテリジェントルーティングを設定する」を参照してください。

1 つのプリフィルレプリカでは、すべての戦略がそのレプリカにルーティングされます。この選択は、 の場合にのみ動作に影響しますprefillSpec.replicas > 1。

完全な例

次のマニフェストは、2 つの ml.p5.48xlarge インスタンス (1 つのプリフィラー、1 つのデコーダー) に Llama 3.3 70B をデプロイします。

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: dpd-test
  namespace: default
spec:
  endpointName: dpd-test
  instanceType: ml.p5.48xlarge
  invocationEndpoint: v1/chat/completions
  modelName: Llama-3.3-70B-Instruct
  modelSourceConfig:
    modelSourceType: s3
    modelLocation: Llama-3.3-70B-Instruct
    s3Storage:
      bucketName: <YOUR_BUCKET>
      region: <YOUR_REGION>
  loadBalancer:
    healthCheckPath: /health
  metrics:
    enabled: true
  kvCacheSpec:
    enableL1Cache: true
  intelligentRoutingSpec:
    enabled: true
    routingStrategy: prefixaware
  pdSpec:
    prefillSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    decodingSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    routingThreshold: 4096
  worker:
    image: public.ecr.aws/deep-learning-containers/vllm:server-hyperpod-cuda-v1.1
    args:
      - "--model"
      - "/opt/ml/model"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "8000"
      - "--tensor-parallel-size"
      - "8"
      - "--max-model-len"
      - "16384"
      - "--gpu-memory-utilization"
      - "0.75"
    modelInvocationPort:
      name: http
      containerPort: 8000
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      requests:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
      limits:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
    environmentVariables:
      - name: HF_HOME
        value: /tmp/hf_home
      - name: PD_BUFFER_SIZE
        value: "8589934592"
      - name: LMCACHE_SAVE_DECODE_CACHE
        value: "False"
      - name: PYTHONHASHSEED
        value: "0"

マニフェストを適用します。

kubectl apply -f inference_endpoint_dpd_config.yaml

デプロイメントを確認する

イメージのプルとモデルのロードには数分かかります。ポッドのステータスをモニタリングします。

kubectl get pods -A \
  | grep -E "prefill-|decode-|router"

正常なデプロイでは、以下が表示されます。

NAMESPACE                   NAME                                   READY   STATUS    RESTARTS   AGE
default                     prefill-dpd-test-XXXX                  3/3     Running   0          7m
default                     decode-dpd-test-XXXX                   3/3     Running   0          7m
hyperpod-inference-system   dpd-test-router-XXXX                   2/2     Running   0          7m

各モデルポッドには 3 つのコンテナ (vLLM ワーカー、Nginx リバースプロキシ、OpenTelemetry コレクター) があります。ルーターポッドには 2 つのコンテナ (ルーター、OpenTelemetry コレクター) があります。InferenceEndpointConfig ステータスを確認します。

kubectl get inferenceendpointconfig dpd-test -n default \
  -o jsonpath='{.status.conditions[0].message}{"\n"}'

正常な出力: DPD prefill and decode deployments are ready

DPD ロールを検証する

プリフィラーレポートsenderとデコーダーレポートを確認しますreceiver。これは最も区別のつかない単一の起動シグナルです。両方のポッドが同じロールを報告するか、どちらのポッドも行を出力しない場合、オペレータは DPD を正しくワイヤリングしませんでした。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

kubectl logs $PREFILL_POD -n ${NAMESPACE} -c prefill-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

正常な出力:

'pd_role': 'sender'
'pd_role': 'receiver'

エンドポイントの呼び出し

エンドポイントの準備ができたら、短いプロンプトと長いプロンプトを送信して両方のルーティングパスを実行し、ログをチェックして EFA 経由の KV 転送を確認します。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

ROUTER_POD=$(kubectl get pods -n hyperpod-inference-system -o name \
  | grep -- "${DEPLOYMENT_NAME}-${NAMESPACE}-router" | head -1)

ROUTER_URL=http://${DEPLOYMENT_NAME}-${NAMESPACE}-routing-service.hyperpod-inference-system.svc.cluster.local:443/v1/chat/completions

短いプロンプト (しきい値未満、デコーダーに直接送信)

プリフィラーをroutingThresholdバイパスするよりも少ないトークンを持つリクエストは、デコーダーに直接移動します。

kubectl run curl-short --rm -it --image=curlimages/curl --restart=Never -- \
  curl -s -k -X POST "$ROUTER_URL" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "/opt/ml/model",
      "messages": [{"role": "user", "content": "What is disaggregated prefill-decode in one sentence?"}],
      "max_tokens": 80,
      "temperature": 0.0
    }'

長いプロンプト (しきい値、DPD パスを超過)

しきい値を超えるリクエストは、KV キャッシュ計算用のプリフィラーを経由し、トークン生成用のデコーダーにルーティングされます。

kubectl run curl-long --rm -it --image=curlimages/curl --restart=Never -- sh -c '
LONG=""
i=0; while [ $i -lt 600 ]; do LONG="${LONG}The quick brown fox jumps over the lazy dog. "; i=$((i+1)); done
curl -s -k -X POST "'"$ROUTER_URL"'" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"/opt/ml/model\",\"messages\":[{\"role\":\"user\",\"content\":\"${LONG}\"}],\"max_tokens\":30,\"temperature\":0.0}"
'

KV 転送を検証する

長いプロンプトを送信した後、デコーダーログをチェックして KV キャッシュが転送されたことを確認します。

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -E "Retrieved.*tokens.*throughput" | tail -2

予想される出力 (TP ランクごとに 1 行):

[Worker_TP5] [LMCache INFO] [req_id=cmpl-...] Retrieved 6035 out of 6035 required tokens (from 6035 total tokens).
   size: 0.2344 gb, cost 1.3304 ms, throughput: 176.1686 GB/s

Retrieved N out of N required tokens N > 0 の場合、KV キャッシュが NIXL チャネルを正常に通過したことを確認します。が表示された場合Retrieved 0 out of N、デコーダーはローカル再計算にフォールバックします。「」を参照してくださいDisaggregated Prefill and Decode (DPD) デプロイの問題。

ルーターログでルーティングの決定を確認することもできます。

kubectl logs $ROUTER_POD -n hyperpod-inference-system -c router-container --tail=20 \
  | grep -E "Conditional routing"

長いプロンプトでは、以下が表示されます。

[INFO] Conditional routing: estimated_tokens=6750, threshold=4096, disaggregate=True

短いプロンプトの場合:

[INFO] Conditional routing: estimated_tokens=12, threshold=4096, disaggregate=False

オブザーバビリティ

metrics.enabled: true で を設定してメトリクスを有効にしますInferenceEndpointConfig。DPD メトリクスは、HyperPod 推論ダッシュボードで使用できます。詳細については、「HyperPod クラスターでの推論オブザーバビリティの実装」を参照してください。

次の DPD 固有のメトリクスを使用できます。

DPD デプロイを調整する

次の表は、メトリクスダッシュボードで観察した症状に基づいて DPD を調整するためのクイックリファレンスです。

実際のワークロードと入力長の分布でテストします。

設定変更を適用するには、デプロイ YAML を編集して再適用します。

kubectl apply -f inference_endpoint_dpd_config.yaml

既知の制限事項

DPD デプロイのトラブルシューティングについては、「」を参照してくださいDisaggregated Prefill and Decode (DPD) デプロイの問題。