Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

note sulla versione di Amazon SageMaker HyperPod Inference

Questo argomento riguarda le note di rilascio che tengono traccia degli aggiornamenti, delle correzioni e delle nuove funzionalità per Amazon SageMaker HyperPod Inference. SageMaker HyperPod Inference ti consente di distribuire e scalare modelli di machine learning sui tuoi HyperPod cluster con un'affidabilità di livello aziendale. Per le versioni, gli aggiornamenti e i miglioramenti generali SageMaker HyperPod della piattaforma Amazon, consulta. Note sulla SageMaker HyperPod versione di Amazon

Per informazioni sulle funzionalità di SageMaker HyperPod inferenza e sulle opzioni di distribuzione, consulta. Distribuzione di modelli su Amazon SageMaker HyperPod

SageMaker HyperPod Note sulla versione di Inference: v3.2

Data di uscita: 12 giugno 2026

Riepilogo

Inference Operator v3.2 consente ai clienti di implementare LLM a lungo contesto (come Llama 3.3 70B) con una latenza prevedibile per token in caso di carico simultaneo. La versione introduce Disaggregated Prefill and Decode (DPD), che separa la fase di precompilazione associata al calcolo e la fase di decodifica legata alla larghezza di banda di memoria in pool di GPU distinti e trasferisce la cache KV tra di loro tramite EFA con RDMA. GPU-Direct DPD riduce la latenza tail per token, aumenta il throughput e consente di scalare la capacità di precompilazione e decodifica in modo indipendente. Oltre a DPD, in questa versione sono incluse altre correzioni di bug.

Caratteristiche principali

Precompilazione e decodifica disaggregati (DPD)

Correzioni di bug

Aggiornamento alla v3.2

Aggiornamento del timone:

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Note sulla versione di Inference: v3.1.2

Data di uscita: 6 maggio 2026

Riepilogo

Inference Operator v3.1.2 introduce l'acquisizione dei dati di inferenza per la registrazione del traffico degli endpoint, l'integrazione HuggingFace Hub per l'implementazione diretta del modello, la gestione DNS Route 53 per domini personalizzati, l'implementazione del modello NVMe locale per ridurre la latenza di avvio a freddo e account di servizio personalizzati con supporto IRSA.

Nuove funzionalità

Correzioni di bug

Aggiornamento alla v3.1.2

Aggiornamento del timone:

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente.

Innanzitutto, controlla se hyperpodClusterArn è già presente nella configurazione del componente aggiuntivo:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

Se hyperpodClusterArn è presente nell'output, esegui il seguente comando per eseguire l'aggiornamento:

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Se non hyperpodClusterArn è presente, recupera la configurazione corrente, aggiungila e aggiorna:

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Attendi che il componente aggiuntivo diventi attivo prima di distribuire i modelli.

SageMaker HyperPod Note sulla versione di Inference: v3.1

Data di uscita: 3 aprile 2026

Riepilogo

Inference Operator v3.1 introduce la configurazione personalizzata dei pod Kubernetes, il supporto personalizzato per i certificati e i limiti di richiesta per pod.

Caratteristiche principali

Per informazioni dettagliate, inclusi i prerequisiti e le istruzioni di aggiornamento, consulta le sezioni seguenti.

Prerequisiti

Per utilizzare la funzionalità Certificati personalizzati, aggiungete le seguenti autorizzazioni al ruolo di esecuzione di Inference Operator:

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Aggiornamento alla v3.1

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Note sulla versione di Inference: v3.0

Data di uscita: 23 febbraio 2026

Riepilogo

Inference Operator 3.0 introduce l' Add-on integrazione EKS per una gestione semplificata del ciclo di vita, il supporto di Node Affinity per il controllo granulare della pianificazione e una migliore etichettatura delle risorse. Helm-based Le installazioni esistenti possono essere migrate a EKS utilizzando lo script di migrazione fornito. Add-on Aggiorna il tuo ruolo di esecuzione di Inference Operator con nuove autorizzazioni di tagging prima dell'aggiornamento.

Caratteristiche principali

Per informazioni dettagliate, tra cui prerequisiti, istruzioni per l'aggiornamento e linee guida sulla migrazione, consulta le sezioni seguenti.

Prerequisiti

Prima di aggiornare la versione Helm alla 3.0, i clienti devono aggiungere ulteriori autorizzazioni di tagging al proprio ruolo di esecuzione dell'operatore Inference. Come parte del miglioramento della codifica e della sicurezza delle risorse, l'Inference Operator ora assegna tag alle risorse ALB, S3 e ACM. Questo miglioramento richiede autorizzazioni aggiuntive nel ruolo di esecuzione di Inference Operator. Aggiungi le seguenti autorizzazioni al tuo ruolo di esecuzione di Inference Operator:

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Aggiornamento alla v3.0

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Migrazione da Helm a EKS Add-on

Se Inference operator è installato tramite Helm prima della versione 3.0, consigliamo di migrare a EKS per Add-on ottenere aggiornamenti tempestivi sulle nuove funzionalità che verranno rilasciate per Inference Operator. Questo script migra l' SageMaker HyperPod Inference Operator dall'installazione all'installazione di EKS. Helm-based Add-on

Panoramica: lo script accetta il nome e la regione del cluster come parametri, recupera la configurazione di installazione di Helm esistente e migra alla distribuzione EKS. Add-on Crea nuovi ruoli IAM per Inference Operator, ALB Controller e KEDA Operator.

Prima di migrare l'Inference Operator, lo script garantisce l'esistenza delle dipendenze richieste (driver S3 CSI, driver FSx CSI, cert-manager e metrics-server). Se non esistono, li distribuisce come. Add-on

Una volta completata la Add-on migrazione di Inference Operator, lo script migra anche S3, FSx e altre dipendenze (ALB, KEDA, cert-manager, metrics-server) se originariamente installate tramite il grafico Inference Operator Helm. Usalta questo passaggio per il driver S3 CSI, il driver --skip-dependencies-migration FSx CSI, il cert-manager e il metrics-server. Nota che ALB e KEDA sono installati come parte dello stesso namespace di Inference Operator e Add-on verranno migrati come parte di Inference Operator. Add-on

Prerequisiti per la migrazione:

Ottenere lo script di migrazione:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Utilizzo:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Opzioni:

Esempi:

Migrazione di base (migra le dipendenze):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve senza istruzioni:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Salta la migrazione delle dipendenze per FSx, S3 mountpoint, cert manager e Metrics server:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Fornisci i ruoli IAM S3 e FSx esistenti:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Ubicazione del backup:

I backup sono archiviati in /tmp/hyperpod-migration-backup-<timestamp>/

I backup consentono una migrazione e un ripristino sicuri:

Rollback:

Se la migrazione non riesce, lo script richiede la conferma dell'utente prima di avviare il rollback per ripristinare lo stato precedente.

SageMaker HyperPod Note sulla versione di Inference: v2.3

Cosa c'è di nuovo

Questa versione introduce nuovi campi opzionali nelle Custom Resource Definitions (CRD) per migliorare la flessibilità di configurazione della distribuzione.

Funzionalità

Correzioni di bug

Le modifiche al campo invocationEndpoint nelle specifiche di ora avranno effetto: InferenceEndpointConfig

Installazione di Helm:

Segui: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Se ti concentri solo sull'installazione dell'operatore di inferenza, dopo il passaggio 1, ad esempioSet Up Your Helm Environment, cd HyperPodHelmChart/charts/inference-operator esegui. Dato che vi trovate nella cartella stessa del grafico degli operatori di inferenza, nei comandi, ovunque vediatehelm_chart/HyperPodHelmChart, sostituite con. .

Aggiorna Operator alla v2.3 nel caso sia già installato:

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3