Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Versionshinweise zu Amazon SageMaker HyperPod Inference

Dieses Thema behandelt Versionshinweise, in denen Updates, Problembehebungen und neue Funktionen für Amazon SageMaker HyperPod Inference nachverfolgt werden. SageMaker HyperPod Inference ermöglicht es Ihnen, Modelle für maschinelles Lernen auf Ihren HyperPod Clustern mit Zuverlässigkeit auf Unternehmensebene bereitzustellen und zu skalieren. Allgemeine Versionen, Updates und Verbesserungen der SageMaker HyperPod Amazon-Plattform finden Sie unter. SageMaker HyperPod Versionshinweise von Amazon

Informationen zu den Funktionen und Bereitstellungsoptionen von SageMaker HyperPod Inference finden Sie unterModelle auf Amazon bereitstellen SageMaker HyperPod.

SageMaker HyperPod Versionshinweise zu Inference: v3.2

Datum der Veröffentlichung: 12. Juni 2026

Übersicht

Inference Operator v3.2 ermöglicht es Kunden, LLMs mit langem Kontext (wie Llama 3.3 70B) mit vorhersehbarer Latenz pro Token bei gleichzeitiger Last bereitzustellen. In der Version wird Disaggregated Prefill and Decode (DPD) eingeführt, das die rechnergebundene Vorfüllphase und die speicherbandbreitengebundene Decodierungsphase auf unterschiedliche GPU-Pools aufteilt und den KV-Cache zwischen ihnen über EFA mit RDMA überträgt. GPU-Direct DPD reduziert die Latenz pro Token, erhöht den Durchsatz und ermöglicht es Ihnen, die Kapazität zum Vorfüllen und Dekodieren unabhängig voneinander zu skalieren. Neben DPD enthalten wir in dieser Version noch weitere Bugfixes.

Die wichtigsten Funktionen

Disaggregiertes Vorfüllen und Dekodieren (DPD)

Fehlerbehebungen

Führen Sie ein Upgrade auf Version 3.2 durch

Aktualisierung des Helms:

Wenn Sie den Inferenzoperator bereits über Helm installiert haben, verwenden Sie für das Upgrade die folgenden Befehle:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on EKS-Aktualisierung:

Wenn Sie den Inferenzoperator als EKS installiert haben Add-on, führen Sie ein Upgrade auf die neueste Version durch:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Versionshinweise zu Inference: v3.1.2

Datum der Veröffentlichung: 6. Mai 2026

Übersicht

Inference Operator v3.1.2 bietet die Erfassung von Inferenzdaten zur Protokollierung des Endpunktverkehrs, die HuggingFace Hub-Integration für die direkte Modellbereitstellung, das Route 53-DNS-Management für benutzerdefinierte Domänen, die lokale NVMe-Modellbereitstellung für reduzierte Kaltstartlatenz und benutzerdefinierte Dienstkonten mit IRSA-Unterstützung.

Neue Funktionen

Fehlerbehebungen

Führen Sie ein Upgrade auf Version 3.1.2 durch

Aktualisierung des Helms:

Wenn Sie den Inferenzoperator bereits über Helm installiert haben, verwenden Sie für das Upgrade die folgenden Befehle:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on EKS-Upgrade:

Wenn Sie den Inferenzoperator als EKS installiert haben Add-on, führen Sie ein Upgrade auf die neueste Version durch.

Überprüfen Sie zunächst, ob Ihre Zusatzkonfiguration bereits vorhanden hyperpodClusterArn ist:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

Wenn hyperpodClusterArn es in der Ausgabe vorhanden ist, führen Sie den folgenden Befehl aus, um das Upgrade durchzuführen:

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Wenn nicht hyperpodClusterArn vorhanden, rufen Sie die aktuelle Konfiguration ab, fügen Sie sie hinzu und führen Sie ein Upgrade durch:

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Warten Sie, bis das Add-on aktiv wird, bevor Sie Modelle bereitstellen.

SageMaker HyperPod Versionshinweise zu Inference: v3.1

Datum der Veröffentlichung: 3. April 2026

Übersicht

Inference Operator v3.1 führt eine benutzerdefinierte Kubernetes-Pod-Konfiguration, benutzerdefinierte Zertifikatsunterstützung und Anforderungslimits pro Pod ein.

Die wichtigsten Funktionen

Detaillierte Informationen, einschließlich Voraussetzungen und Anweisungen zum Upgrade, finden Sie in den folgenden Abschnitten.

Voraussetzungen

Um die Funktion „Benutzerdefinierte Zertifikate“ zu verwenden, fügen Sie Ihrer Ausführungsrolle „Inferenzoperator“ die folgenden Berechtigungen hinzu:

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Führen Sie ein Upgrade auf Version 3.1 durch

Wenn Sie den Inferenzoperator bereits über Helm installiert haben, verwenden Sie für das Upgrade die folgenden Befehle:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Versionshinweise zu Inference: v3.0

Datum der Veröffentlichung: 23. Februar 2026

Übersicht

Inference Operator 3.0 führt die Add-on EKS-Integration für ein vereinfachtes Lebenszyklusmanagement, Node Affinity-Unterstützung für eine granulare Planungssteuerung und ein verbessertes Ressourcen-Tagging ein. Bestehende Helm-based Installationen können Add-on mithilfe des mitgelieferten Migrationsskripts auf das EKS migriert werden. Aktualisieren Sie Ihre Inference Operator-Ausführungsrolle vor dem Upgrade mit neuen Tagging-Berechtigungen.

Die wichtigsten Funktionen

Detaillierte Informationen, einschließlich Voraussetzungen, Upgrade-Anweisungen und Anleitungen zur Migration, finden Sie in den folgenden Abschnitten.

Voraussetzungen

Vor dem Upgrade der Helm-Version auf 3.0 sollten Kunden ihrer Ausführungsrolle als Inferenzoperator zusätzliche Tagging-Berechtigungen hinzufügen. Im Rahmen der Verbesserung der Ressourcen-Tagging und der Sicherheit taggt der Inference Operator jetzt ALB-, S3- und ACM-Ressourcen. Für diese Erweiterung sind zusätzliche Berechtigungen in der Ausführungsrolle Inference Operator erforderlich. Fügen Sie Ihrer Ausführungsrolle „Inferenzoperator“ die folgenden Berechtigungen hinzu:

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Führen Sie ein Upgrade auf Version 3.0 durch

Wenn Sie den Inferenzoperator bereits über Helm installiert haben, verwenden Sie für das Upgrade die folgenden Befehle:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Migration von Helm zu EKS Add-on

Wenn der Inference Operator vor der Version 3.0 über Helm installiert wurde, empfehlen wir, auf EKS zu migrieren, Add-on um rechtzeitig über die neuen Funktionen informiert zu werden, die für Inference Operator veröffentlicht werden. Dieses Skript migriert den SageMaker HyperPod Inference Operator von Helm-based der Installation zur EKS-Installation. Add-on

Überblick: Das Skript verwendet einen Clusternamen und eine Region als Parameter, ruft die vorhandene Helm-Installationskonfiguration ab und migriert zur EKS-Bereitstellung. Add-on Es erstellt neue IAM-Rollen für den Inferenzoperator, den ALB-Controller und den KEDA-Operator.

Vor der Migration des Inferenzoperators stellt das Skript sicher, dass die erforderlichen Abhängigkeiten (S3-CSI-Treiber, FSx-CSI-Treiber, Cert-Manager und Metrics-Server) vorhanden sind. Wenn sie nicht existieren, werden sie bereitgestellt als. Add-on

Nach Abschluss der Add-on Inferenzoperator-Migration migriert das Skript auch S3, FSx und andere Abhängigkeiten (ALB, KEDA, cert-manager, metrics-server), sofern sie ursprünglich über das Inference Operator-Helm-Diagramm installiert wurden. Verwenden Sie--skip-dependencies-migration, um diesen Schritt für den S3-CSI-Treiber, den FSx-CSI-Treiber, den Cert-Manager und den Metrics-Server zu überspringen. Beachten Sie, dass ALB und KEDA als Teil von Add-on im selben Namespace wie Inference Operator installiert werden und als Teil des Inference Operators migriert werden. Add-on

Voraussetzungen für die Migration:

Das Migrationsskript wird abgerufen:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Verwendung:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Optionen:

Beispiele:

Einfache Migration (migriert Abhängigkeiten):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve ohne Eingabeaufforderungen:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Überspringen Sie die Abhängigkeitsmigration für FSx, S3-Mountpoint, Cert Manager und Metrics-Server:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Stellen Sie vorhandene S3- und FSx-IAM-Rollen bereit:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Speicherort der Sicherungskopie:

Backups werden gespeichert in /tmp/hyperpod-migration-backup-<timestamp>/

Backups ermöglichen eine sichere Migration und Wiederherstellung:

Rollback:

Wenn die Migration fehlschlägt, fordert das Skript den Benutzer zur Bestätigung auf, bevor ein Rollback initiiert wird, um den vorherigen Status wiederherzustellen.

SageMaker HyperPod Versionshinweise zu Inference: v2.3

Was ist neu

In dieser Version werden neue optionale Felder in den Custom Resource Definitions (CRDs) eingeführt, um die Flexibilität bei der Konfiguration der Bereitstellung zu erhöhen.

Funktionen

Fehlerbehebungen

Änderungen an dem Feld invocationEndpoint in der Spezifikation von InferenceEndpointConfig werden jetzt wirksam:

Helm installieren:

Folgen Sie: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Wenn Sie sich darauf konzentrieren, nur den Inferenzoperator zu installieren, tun Sie dies cd HyperPodHelmChart/charts/inference-operator nach Schritt 1 Set Up Your Helm Environment z. B. Da Sie sich im Verzeichnis des Inferenzoperatordiagramms selbst befinden, ersetzen Sie in den Befehlen, wo immer Sie es sehenhelm_chart/HyperPodHelmChart, durch. .

Aktualisieren Sie den Operator auf Version 2.3, falls er bereits installiert ist:

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3