As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Instalar do operador de treinamento

Consulte as seções a seguir para saber como instalar o operador de treinamento.

Pré-requisitos

Antes de usar o operador HyperPod de treinamento, você deve ter concluído os seguintes pré-requisitos:

Instalar do operador de treinamento

Agora você pode instalar o operador de HyperPod treinamento por meio do console de SageMaker IA, do console do Amazon EKS ou com AWS CLI os métodos do console que oferecem experiências simplificadas que ajudam a instalar o operador. O AWS CLI oferece uma abordagem programática que permite que você personalize mais sua instalação.

Entre as duas experiências de console, a SageMaker IA fornece uma instalação com um clique, cria a função de execução do IAM, cria a associação de identidade do pod e instala o operador. A instalação do console do Amazon EKS é semelhante, mas esse método não cria automaticamente um perfil de execução do IAM. Durante esse processo, opte por criar um perfil de execução do IAM com informações que o console preenche previamente. Por padrão, esses perfis criados só têm acesso ao cluster atual no qual você está instalando o operador. A menos que você edite as permissões do perfil para incluir outros clusters, se você remover e reinstalar o operador, deverá criar outro perfil.

SageMaker AI console (recommended)

1. Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/.

2. Acesse a página de detalhes do seu cluster.

3. Na guia Painel, localize o complemento chamado Amazon SageMaker HyperPod Training Operator e escolha instalar. Durante o processo de instalação, a SageMaker IA cria uma função de execução do IAM com permissões semelhantes à política AmazonSageMakerHyperPodTrainingOperatorAccess gerenciada e cria uma associação de identidade de pod entre seu cluster Amazon EKS e sua nova função de execução.

Amazon EKS console

nota

Se você instalar o complemento por meio do cluster Amazon EKS, primeiro certifique-se de ter marcado seu HyperPod cluster com o par chave-valor. SageMaker:true Do contrário, a instalação falhará.

1. Abra o console do Amazon EKS em https://console.aws.amazon.com/eks/home #/clusters.

2. Acesse seu cluster EKS Add-ons, escolha e escolha Obter mais Add-ons.

3. Escolha o operador SageMaker HyperPod de treinamento da Amazon e, em seguida, escolha Avançar.

4. Em Versão, o console usa como padrão a versão mais recente, que recomendamos que você use.

5. Em Add-on Acesso, escolha uma função IAM de identidade de pod para usar com o complemento do operador de treinamento. Se você ainda não tiver um perfil, escolha Criar perfil recomendado para criar um.

6. Durante esse processo de criação da função, o console do IAM preenche previamente todas as informações necessárias, como o caso de uso, a política AmazonSageMakerHyperPodTrainingOperatorAccess gerenciada e outras permissões necessárias, o nome da função e a descrição. Ao seguir as etapas, analise as informações e escolha Criar perfil.

7. No console EKS, analise as configurações do complemento e escolha Criar.

CLI

1. Certifique-se de que a função de execução do IAM para seu HyperPod cluster tenha uma relação de confiança que permita ao EKS Pod Identity assumir a função ou criar uma nova função do IAM com a política de confiança a seguir. Ou você pode usar o console do Amazon EKS para instalar o complemento, o qual cria um perfil recomendado.

   JSON

   JSON

   {
     "Version":"2012-10-17",
     "Statement": [
       {
         "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
         "Effect": "Allow",
         "Principal": {
           "Service": "pods.eks.amazonaws.com"
         },
         "Action": [
           "sts:AssumeRole",
           "sts:TagSession",
           "eks-auth:AssumeRoleForPodIdentity"
         ]
       }
     ]
   }
   

2. Anexe a política AmazonSageMakerHyperPodTrainingOperatorAccess gerenciada à sua função criada.

3. Em seguida, crie uma associação de Identidade de Pods entre o cluster do EKS, o perfil do IAM e o novo perfil do IAM.

   aws eks create-pod-identity-association \
   --cluster-name my-eks-cluster \
   --role-arn ARN of your execution role \
   --namespace aws-hyperpod \
   --service-account hp-training-operator-controller-manager \
   --region Região da AWS

4. Depois de concluir o processo, você pode usar a ListPodIdentityAssociations operação para ver a associação que você criou. A resposta de exemplo a seguir pode dar uma ideia dessa associação.

   aws eks list-pod-identity-associations --cluster-name my-eks-cluster
   {
       "associations": [{
           "clusterName": "my-eks-cluster",
           "namespace": "aws-hyperpod",
           "serviceAccount": "hp-training-operator-controller-manager",
           "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
           "associationId": "a-1a2b3c4d5e6f7g8h9"
       }]
   }

5. Para instalar o operador de treinamento, use a operação create-addon. O parâmetro --addon-version é opcional. Se você não fornecer uma, o padrão é a versão mais recente. Para obter as versões possíveis, use a DescribeAddonVersions operação.

   aws eks create-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --resolve-conflicts OVERWRITE

Se você já tiver o operador de treinamento instalado em seu HyperPod cluster, poderá atualizar o complemento EKS para a versão desejada. Se você quiser usar o treinamento sem controle ou o treinamento elástico, considere o seguinte:

Amazon EKS Console

1. Abra o console do Amazon EKS em https://console.aws.amazon.com/eks/home #/clusters.

2. Acesse seu cluster EKS e escolha Add-ons. Em seguida, escolha o complemento Amazon SageMaker HyperPod Training Operator e escolha Editar.

3. No menu Versão, escolha a versão do complemento que você deseja e escolha Salvar alterações.

CLI

1. Primeiro, obtenha a lista das versões compatíveis do complemento para seu cluster.

   aws eks describe-addon-versions \
     --kubernetes-version $(aws eks describe-cluster --name my-eks-cluster --query 'cluster.version' --output text) \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --query 'addons[0].addonVersions[].addonVersion' \
     --output table

2. Em seguida, atualize o complemento para a versão desejada.

   aws eks update-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --addon-version target-version
     --resolve-conflicts OVERWRITE

O operador de treinamento vem com várias opções com valores padrão que podem se adequar ao seu caso de uso. Recomendamos que você teste o operador de treinamento com valores padrão antes de alterá-los. A tabela abaixo descreve todos os parâmetros e exemplos de quando é possível configurar cada parâmetro.

HyperPod agente elástico

O agente HyperPod elástico é uma extensão PyTorch de ElasticAgent s. Ele orquestra os ciclos de vida dos trabalhadores de treinamento em cada contêiner e se comunica com o operador de treinamento. HyperPod Para usar o operador de HyperPod treinamento, você deve primeiro instalar o agente HyperPod elástico em sua imagem de treinamento antes de poder enviar e executar trabalhos usando o operador. A seguir é apresentado um arquivo do Docker que instala o agente elástico e o usa hyperpodrun para criar o inicializador de tarefas.

RUN pip install hyperpod-elastic-agent

ENTRYPOINT ["entrypoint.sh"]
# entrypoint.sh
...
hyperpodrun --nnodes=node_count --nproc-per-node=proc_count \
            --rdzv-backend hyperpod \ # Optional
            --inprocess-restart \ # Optional (in-process fault recovery with checkpointless training)
            ... # Other torchrun args
            # pre-traing arg_group
            --pre-train-script pre.sh --pre-train-args "pre_1 pre_2 pre_3" \
            # post-train arg_group
            --post-train-script post.sh --post-train-args "post_1 post_2 post_3" \
            training.py --script-args

Agora você pode enviar tarefas com o kubectl.

HyperPod argumentos do agente elástico

O agente HyperPod elástico suporta todos os argumentos originais e adiciona alguns argumentos adicionais. A seguir estão todos os argumentos disponíveis no agente HyperPod elástico. Para obter mais informações sobre PyTorch o Elastic Agent, consulte a documentação oficial.

Governança de tarefas (opcional)

O operador de treinamento está integrado à governança de HyperPod tarefas, um sistema de gerenciamento robusto projetado para simplificar a alocação de recursos e garantir a utilização eficiente dos recursos computacionais entre equipes e projetos para seus clusters do Amazon EKS. Para configurar a governança de HyperPod tarefas, consulteConfiguração para governança de SageMaker HyperPod tarefas.

Ao enviar um trabalho, inclua o nome da fila e os rótulos hyperpod-ns-team-name-localqueue e priority-class-name-priority da classe prioritária. Por exemplo, se você estiver usando o Kueue, os rótulos serão os seguintes:

Confira o seguinte exemplo para ver como o arquivo de configuração se apresenta:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPytorchJob
metadata:
  name: hp-task-governance-sample
  namespace: hyperpod-ns-team-name
  labels:
    kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
    kueue.x-k8s.io/priority-class: priority-class-priority
spec:
  nprocPerNode: "1"
  runPolicy:
    cleanPodPolicy: "None"
  replicaSpecs: 
    - name: pods
      replicas: 4
      spares: 2
      template:
        spec:
          containers:
            - name: ptjob
              image: XXXX
              imagePullPolicy: Always
              ports:
                - containerPort: 8080
              resources:
                requests:
                  cpu: "2"

Em seguida, use o comando kubectl a seguir para aplicar o arquivo YAML.

kubectl apply -f task-governance-job.yaml

Kueue (opcional)

Embora você possa executar tarefas diretamente, sua organização também pode integrar o operador de treinamento ao Kueue para alocar recursos e agendar tarefas. Siga as etapas abaixo para instalar o Kueue em seu HyperPod cluster.