As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Notas de lançamento do Amazon SageMaker HyperPod Inference

Este tópico aborda notas de lançamento que acompanham atualizações, correções e novos recursos do Amazon SageMaker HyperPod Inference. SageMaker HyperPod A inferência permite que você implante e escale modelos de aprendizado de máquina em seus HyperPod clusters com confiabilidade de nível corporativo. Para lançamentos, atualizações e melhorias gerais da SageMaker HyperPod plataforma Amazon, consulteNotas SageMaker HyperPod de lançamento da Amazon.

Para obter informações sobre os recursos de SageMaker HyperPod inferência e as opções de implantação, consulteImplantação de modelos na Amazon SageMaker HyperPod.

SageMaker HyperPod Notas de lançamento do Inference: v3.2

Data de lançamento: 12 de junho de 2026

Resumo

O Inference Operator v3.2 permite que os clientes implantem LLMs de longo contexto (como o Llama 3.3 70B) com latência previsível por token sob carga simultânea. A versão apresenta o Preenchimento e Decodificação Desagregados (DPD), que separa a fase de pré-preenchimento vinculada à computação e a fase de decodificação limitada à largura de banda de memória em pools de GPU distintos e transfere o cache KV entre eles por meio de EFA com RDMA. GPU-Direct O DPD reduz a latência final por token, aumenta a taxa de transferência e permite escalar a capacidade de pré-preenchimento e decodificação de forma independente. Além do DPD, incluímos outras correções de bugs nesta versão.

Características principais

Pré-preenchimento e decodificação desagregados (DPD)

Correções de bugs

Atualize para a v3.2

Atualização do leme:

Se você já tem o Inference Operator instalado via Helm, use os seguintes comandos para fazer o upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on Atualização do EKS:

Se você instalou o Inference Operator como um EKS Add-on, atualize para a versão mais recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Notas de lançamento do Inference: v3.1.2

Data de lançamento: 6 de maio de 2026

Resumo

O Inference Operator v3.1.2 apresenta captura de dados de inferência para registrar tráfego de endpoints, integração de HuggingFace hub para implantação direta de modelos, gerenciamento de DNS do Route 53 para domínios personalizados, implantação local do modelo NVMe para reduzir a latência de inicialização a frio e contas de serviço personalizadas com suporte IRSA.

Novos atributos

Correções de bugs

Atualize para v3.1.2

Atualização do leme:

Se você já tem o Inference Operator instalado via Helm, use os seguintes comandos para fazer o upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on Atualização do EKS:

Se você instalou o Inference Operator como um EKS Add-on, atualize para a versão mais recente.

Primeiro, verifique se já hyperpodClusterArn está na configuração do complemento:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

Se hyperpodClusterArn estiver presente na saída, execute o seguinte comando para atualizar:

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Se não hyperpodClusterArn estiver presente, busque a configuração atual, adicione-a e atualize:

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Aguarde até que o complemento se torne ativo antes de implantar os modelos.

SageMaker HyperPod Notas de lançamento do Inference: v3.1

Data de lançamento: 3 de abril de 2026

Resumo

O Inference Operator v3.1 apresenta a configuração personalizada do pod Kubernetes, o suporte a certificados personalizados e os limites de solicitação por pod.

Características principais

Para obter informações detalhadas, incluindo pré-requisitos e instruções de upgrade, consulte as seções abaixo.

Pré-requisitos

Para usar o recurso de certificados personalizados, adicione as seguintes permissões à sua função de execução de operador de inferência:

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Atualize para a v3.1

Se você já tem o Inference Operator instalado via Helm, use os seguintes comandos para fazer o upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Notas de lançamento do Inference: v3.0

Data de lançamento: 23 de fevereiro de 2026

Resumo

O Inference Operator 3.0 apresenta a Add-on integração EKS para gerenciamento simplificado do ciclo de vida, suporte ao Node Affinity para controle granular de agendamento e melhor marcação de recursos. Helm-based As instalações existentes podem ser migradas para o EKS Add-on usando o script de migração fornecido. Atualize sua função de execução do Inference Operator com novas permissões de marcação antes da atualização.

Características principais

Para obter informações detalhadas, incluindo pré-requisitos, instruções de upgrade e diretrizes de migração, consulte as seções abaixo.

Pré-requisitos

Antes de atualizar a versão do Helm para 3.0, os clientes devem adicionar mais permissões de marcação à sua função de execução de operador de inferência. Como parte da melhoria da marcação e da segurança de recursos, o Inference Operator agora identifica os recursos ALB, S3 e ACM. Esse aprimoramento requer permissões adicionais na função de execução do operador de inferência. Adicione as seguintes permissões à sua função de execução de operador de inferência:

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Atualize para a v3.0

Se você já tem o Inference Operator instalado via Helm, use os seguintes comandos para fazer o upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Migração do Helm para o EKS Add-on

Se o Inference Operator for instalado por meio do Helm antes da versão 3.0, recomendamos migrar para o EKS Add-on para obter atualizações oportunas sobre os novos recursos que serão lançados para o Inference Operator. Esse script migra o operador de SageMaker HyperPod inferência da Helm-based instalação para a instalação do EKS Add-on .

Visão geral: o script usa o nome e a região do cluster como parâmetros, recupera a configuração de instalação existente do Helm e migra para a implantação do EKS. Add-on Ele cria novas funções do IAM para o operador de inferência, o controlador ALB e o operador KEDA.

Antes de migrar o operador de inferência, o script garante que as dependências necessárias (driver S3 CSI, driver FSx CSI, cert-manager e metrics-server) existam. Se eles não existirem, ele os implanta como Add-on.

Após a conclusão da Add-on migração do Inference Operator, o script também migra o S3, o FSx e outras dependências (ALB, KEDA, cert-manager, metrics-server) se elas tiverem sido originalmente instaladas por meio do gráfico Inference Operator Helm. Use --skip-dependencies-migration para pular esta etapa para o driver S3 CSI, o driver FSx CSI, o cert-manager e o metrics-server. Observe que o ALB e o KEDA são instalados como parte do Add-on mesmo namespace do Inference Operator e serão migrados como parte do Inference Operator. Add-on

Pré-requisitos de migração:

Obtendo o script de migração:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Uso:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Opções:

Exemplos:

Migração básica (migra dependências):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve sem avisos:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Ignore a migração de dependências para FSx, S3 mountpoint, cert manager e Metrics Server:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Forneça as funções existentes do S3 e do FSx IAM:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Local do backup:

Os backups são armazenados em /tmp/hyperpod-migration-backup-<timestamp>/

Os backups permitem migração e recuperação seguras:

Reversão:

Se a migração falhar, o script solicitará a confirmação do usuário antes de iniciar a reversão para restaurar o estado anterior.

SageMaker HyperPod Notas de lançamento do Inference: v2.3

O que há de novo

Esta versão introduz novos campos opcionais nas Definições de Recursos Personalizados (CRDs) para aprimorar a flexibilidade da configuração de implantação.

Recursos

Correções de bugs

As alterações no campo invocationEndpoint na especificação do agora InferenceEndpointConfig entrarão em vigor:

Instalando o Helm:

Siga: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Se você estiver focado em instalar apenas o operador de inferência, após a etapa 1, ou sejaSet Up Your Helm Environment, façacd HyperPodHelmChart/charts/inference-operator. Como você está no próprio diretório do gráfico do operador de inferência, nos comandos, onde quer que você vejahelm_chart/HyperPodHelmChart, . substitua por.

Atualize o Operator para v2.3 caso já esteja instalado:

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3