Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Notes de mise SageMaker HyperPod à jour d'Amazon Inference

Cette rubrique couvre les notes de version qui suivent les mises à jour, les correctifs et les nouvelles fonctionnalités d'Amazon SageMaker HyperPod Inference. SageMaker HyperPod L'inférence vous permet de déployer et de faire évoluer des modèles d'apprentissage automatique sur vos HyperPod clusters avec une fiabilité de niveau professionnel. Pour les versions générales, les mises à jour et les améliorations de la SageMaker HyperPod plateforme Amazon, consultezNotes de SageMaker HyperPod mise à jour d'Amazon.

Pour plus d'informations sur les fonctionnalités SageMaker HyperPod d'inférence et les options de déploiement, consultezDéploiement de modèles sur Amazon SageMaker HyperPod.

SageMaker HyperPod Notes de mise à jour d'Inference : v3.2

Date de sortie : 12 juin 2026

Récapitulatif

Inference Operator v3.2 permet aux clients de déployer des LLM à contexte long (tels que Llama 3.3 70B) avec une latence prévisible par jeton en cas de charge simultanée. Cette version introduit le préremplissage et le décodage désagrégés (DDP), qui sépare la phase de préremplissage liée au calcul et la phase de décodage liée à la bande passante de la mémoire sur des pools de GPU distincts et transfère le cache KV entre eux via EFA avec RDMA. GPU-Direct DDP réduit la latence de queue par jeton, augmente le débit et vous permet de faire évoluer la capacité de préremplissage et de décodage de manière indépendante. Outre DPR, nous incluons d'autres corrections de bogues dans cette version.

Principales caractéristiques

Préremplissage et décodage désagrégés (DDP)

Correctifs de bogue

Mise à niveau vers la v3.2

Mise à niveau du casque :

Si l'opérateur d'inférence est déjà installé via Helm, utilisez les commandes suivantes pour effectuer la mise à niveau :

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on Mise à niveau EKS :

Si vous avez installé l'opérateur d'inférence en tant qu'EKS Add-on, passez à la dernière version :

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Notes de mise à jour d'inférence : v3.1.2

Date de sortie : 6 mai 2026

Récapitulatif

Inference Operator v3.1.2 introduit la capture de données d'inférence pour la journalisation du trafic des terminaux, l'intégration du HuggingFace hub pour le déploiement direct de modèles, la gestion DNS Route 53 pour les domaines personnalisés, le déploiement de modèles NVMe locaux pour réduire la latence de démarrage à froid et des comptes de service personnalisés avec support IRSA.

Nouvelles fonctionnalités

Correctifs de bogue

Passez à la version 3.1.2

Mise à niveau du casque :

Si l'opérateur d'inférence est déjà installé via Helm, utilisez les commandes suivantes pour effectuer la mise à niveau :

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on Mise à niveau EKS :

Si vous avez installé l'opérateur d'inférence en tant qu'EKS Add-on, passez à la dernière version.

Tout d'abord, vérifiez si cela hyperpodClusterArn se trouve déjà dans la configuration de votre module complémentaire :

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

S'il hyperpodClusterArn est présent dans la sortie, exécutez la commande suivante pour effectuer la mise à niveau :

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Si hyperpodClusterArn ce n'est pas le cas, récupérez la configuration actuelle, ajoutez-la et effectuez la mise à niveau :

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Attendez que le module complémentaire soit actif avant de déployer des modèles.

SageMaker HyperPod Notes de mise à jour sur l'inférence : v3.1

Date de sortie : 3 avril 2026

Récapitulatif

Inference Operator v3.1 introduit la configuration personnalisée des pods Kubernetes, la prise en charge des certificats personnalisés et des limites de demandes par pod.

Principales caractéristiques

Pour obtenir des informations détaillées, notamment les prérequis et les instructions de mise à niveau, consultez les sections ci-dessous.

Conditions préalables

Pour utiliser la fonctionnalité Certificats personnalisés, ajoutez les autorisations suivantes à votre rôle d'exécution d'opérateur d'inférence :

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Mise à niveau vers la version 3.1

Si l'opérateur d'inférence est déjà installé via Helm, utilisez les commandes suivantes pour effectuer la mise à niveau :

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Notes de mise à jour d'Inference : v3.0

Date de sortie : 23 février 2026

Récapitulatif

Inference Operator 3.0 introduit l' Add-on intégration EKS pour une gestion simplifiée du cycle de vie, la prise en charge de Node Affinity pour un contrôle granulaire de la planification et un meilleur balisage des ressources. Les Helm-based installations existantes peuvent être migrées vers l'EKS à Add-on l'aide du script de migration fourni. Mettez à jour votre rôle d'exécution d'opérateur d'inférence avec de nouvelles autorisations de balisage avant la mise à niveau.

Principales caractéristiques

Pour obtenir des informations détaillées, notamment les prérequis, les instructions de mise à niveau et les conseils de migration, consultez les sections ci-dessous.

Conditions préalables

Avant de passer à la version 3.0 de Helm, les clients doivent ajouter des autorisations de balisage supplémentaires à leur rôle d'exécution d'opérateur d'inférence. Dans le cadre de l'amélioration du balisage et de la sécurité des ressources, l'opérateur d'inférence étiquette désormais les ressources ALB, S3 et ACM. Cette amélioration nécessite des autorisations supplémentaires dans le rôle d'exécution de l'opérateur d'inférence. Ajoutez les autorisations suivantes à votre rôle d'exécution d'opérateur d'inférence :

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Passez à la version 3.0

Si l'opérateur d'inférence est déjà installé via Helm, utilisez les commandes suivantes pour effectuer la mise à niveau :

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

De la barre vers EKS Add-on Migration

Si l'opérateur d'inférence est installé via Helm avant la version 3.0, nous vous recommandons de migrer vers EKS pour obtenir des mises Add-on à jour en temps opportun sur les nouvelles fonctionnalités qui seront publiées pour Inference Operator. Ce script fait migrer l'opérateur SageMaker HyperPod d'inférence de l' Helm-based installation vers l'installation EKS Add-on .

Vue d'ensemble : le script prend un nom de cluster et une région comme paramètres, récupère la configuration d'installation Helm existante et migre vers le déploiement EKS Add-on . Il crée de nouveaux rôles IAM pour l'opérateur d'inférence, le contrôleur ALB et l'opérateur KEDA.

Avant de migrer l'opérateur d'inférence, le script s'assure que les dépendances requises (pilote S3 CSI, pilote FSx CSI, cert-manager et metrics-server) existent. S'ils n'existent pas, il les déploie en tant que Add-on.

Une fois la Add-on migration de l'opérateur d'inférence terminée, le script migre également S3, FSx et d'autres dépendances (ALB, KEDA, cert-manager, metrics-server) si elles ont été initialement installées via le graphique Helm de l'opérateur d'inférence. Permet d'--skip-dependencies-migrationignorer cette étape pour le pilote S3 CSI, le pilote FSx CSI, le cert-manager et le serveur de métriques. Notez qu'ALB et KEDA sont installés Add-on dans le même espace de noms que l'opérateur d'inférence et seront migrés dans le cadre de l'opérateur d'inférence. Add-on

Conditions préalables à la migration :

Obtenir le script de migration :

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Utilisation :

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Options :

Exemples :

Migration de base (migre les dépendances) :

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve sans instructions :

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Ignorez la migration des dépendances pour FSx, le point de montage S3, le gestionnaire de certificats et le serveur Metrics :

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Fournissez les rôles IAM S3 et FSx existants :

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Emplacement de sauvegarde :

Les sauvegardes sont stockées dans /tmp/hyperpod-migration-backup-<timestamp>/

Les sauvegardes permettent une migration et une restauration sécurisées :

Annulation :

Si la migration échoue, le script demande à l'utilisateur de confirmer avant de lancer la restauration pour rétablir l'état précédent.

SageMaker HyperPod Notes de mise à jour d'Inference : v2.3

Quoi de neuf

Cette version introduit de nouveaux champs facultatifs dans les définitions de ressources personnalisées (CRD) afin d'améliorer la flexibilité de la configuration du déploiement.

Fonctions

Correctifs de bogue

Les modifications apportées invocationEndpoint au champ dans la spécification du InferenceEndpointConfig prendront désormais effet :

Installation de Helm :

Suivez : https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Si vous vous concentrez uniquement sur l'installation de l'opérateur d'inférence, après l'étape 1Set Up Your Helm Environment, c'est-à-dire faites-lecd HyperPodHelmChart/charts/inference-operator. Puisque vous vous trouvez dans le répertoire du graphique des opérateurs d'inférence lui-même, dans les commandes, partout où vous le voyezhelm_chart/HyperPodHelmChart, remplacez par..

Mettez à niveau l'opérateur vers la v2.3 au cas où il serait déjà installé :

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3