View a markdown version of this page

Pré-requisitos para usar SageMaker HyperPod - SageMaker IA da Amazon
SageMaker HyperPod cotasConfiguração SageMaker HyperPod com um Amazon VPC personalizadoConfigurando SageMaker HyperPod clusters em várias AZsConfigurar AWS Systems Manager e Run As para controle de acesso de usuários do cluster(Opcional) Configuração SageMaker HyperPod com o Amazon FSx for Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Pré-requisitos para usar SageMaker HyperPod

As seções a seguir explicam os pré-requisitos antes de começar. SageMaker HyperPod

SageMaker HyperPod cotas

Você pode criar SageMaker HyperPod clusters com base nas cotas de uso de clusters em sua AWS conta.

Importante

Para saber mais sobre SageMaker HyperPod preços, consulte SageMaker HyperPod preços SageMaker Preços da Amazon.

Veja as SageMaker HyperPod cotas da Amazon usando o Console de gerenciamento da AWS

Consulte os valores padrão e aplicados de uma cota, também conhecida como limite, para uso do cluster, que é usada para SageMaker HyperPod.

  1. Abra o console do Service Quotas.

  2. No painel de navegação à esquerda, selecione Serviços da AWS .

  3. Na lista de AWS serviços, pesquise e selecione Amazon SageMaker AI.

  4. Na lista de cotas de serviço, você pode ver o nome da cota de serviço, o valor aplicado (se estiver disponível), a cota AWS padrão e se o valor da cota é ajustável.

  5. Na barra de pesquisa, digite uso do cluster. Isso mostra as cotas para uso do cluster, as cotas aplicadas e as cotas padrão.

Lista de cotas de serviço comuns para criar um HyperPod cluster e seus pré-requisitos

Talvez você queira verificar se solicitou aumentos de limite de cota de serviço para as seguintes cotas para criar um novo HyperPod cluster junto com os pré-requisitos no console de IA. SageMaker Navegue até o console do Service Cota e pesquise os seguintes termos.

Não Nome da cota Termo de pesquisa Description
1 Número máximo de instâncias permitidas por SageMaker HyperPod cluster Em SageMaker AI, pesquise “Número máximo de instâncias permitidas por SageMaker HyperPod cluster” O valor da cota no nível da sua conta deve ser maior do que o número de instâncias que você deseja adicionar ao seu cluster
2 Tamanho máximo do volume do EBS em GB para uma instância de SageMaker HyperPod cluster

Em SageMaker AI, pesquise “Tamanho máximo do volume do EBS em GB para uma instância de HyperPod cluster” 

O valor da sua cota no nível da conta deve ser maior do que o volume do EBS que você deseja adicionar ao seu cluster
3 Número total de instâncias permitidas em todos os SageMaker HyperPod clusters

Em SageMaker AI, pesquise “Número total de instâncias permitidas em SageMaker HyperPod clusters” 

 O valor da cota no nível da sua conta deve ser maior do que o total de instâncias que você deseja adicionar em todos os seus clusters em sua conta de forma agregada
4

Cotas de instâncias 

Em SageMaker AI, pesquise por “ml. <instance_type>para uso de cluster”, por exemplo: ml.p5.48xlarge para uso de cluster

 O valor da cota em nível de conta para o tipo de instância específico (por exemplo: ml.p5.48xlarge) deve ser maior do que o número de instâncias a serem adicionadas em todos os clusters da sua conta de forma agregada.
5

VPCs por região

 Em Amazon Virtual Private Cloud (Amazon VPC), pesquise “VPCs por região” O valor da cota em nível de conta deve ser suficiente para criar uma nova VPC na conta ao configurar seu cluster. HyperPod Verifique se você já esgotou esse limite de cota verificando o console da VPC. Esse aumento de cota só é necessário se você criar uma nova VPC por meio da opção de configuração de cluster rápida ou personalizada no SageMaker HyperPod console.
6

Gateways da Internet por região

Em Amazon Virtual Private Cloud (Amazon VPC), pesquise “Gateways de Internet por região”

 O valor da cota em nível de conta deve ser suficiente para criar um gateway de Internet adicional na conta ao configurar seu cluster. SageMaker HyperPod Esse aumento de cota só é necessário se você criar uma nova VPC por meio da opção de configuração de cluster rápida ou personalizada no SageMaker HyperPod console. 
7 Interfaces de rede por região Em Amazon Virtual Private Cloud (Amazon VPC), pesquise “Interfaces de rede por região”

O valor da cota em nível de conta deve ter interfaces de rede suficientes na conta ao configurar seu cluster. HyperPod 
8 EC2-VPC IPs elásticos Em Amazon Elastic Compute Cloud (Amazon EC2), pesquise “EC2-VPC Elastic IPs” O valor da cota em nível de conta deve ser suficiente para criar uma nova VPC na conta ao configurar seu cluster. HyperPod Verifique se você já esgotou esse limite de cota verificando o console da VPC. Esse aumento de cota só é necessário se você criar uma nova VPC por meio da opção de configuração de cluster rápida ou personalizada no SageMaker HyperPod console.

Solicite um aumento de SageMaker HyperPod cota da Amazon usando o Console de gerenciamento da AWS

Aumente suas cotas no nível da conta ou do recurso.

  1. Para aumentar a cota de instâncias para uso do cluster, selecione a cota que você deseja aumentar.

  2. Se a cota for ajustável, você poderá solicitar um aumento de cota no nível da conta ou do recurso com base no valor listado na coluna Ajustabilidade.

  3. Em Alterar o valor da cota, insira o novo valor. O novo valor deve ser maior que o valor atual.

  4. Escolha Solicitar.

  5. Para visualizar quaisquer solicitações pendentes ou resolvidas recentemente no console, navegue até a guia Histórico de solicitações na página de detalhes do serviço ou escolha Painel no painel de navegação. Para solicitações pendentes, escolha o status da solicitação para abrir o recibo da solicitação. O status inicial de uma solicitação é Pending (Pendente). Depois que o status mudar para Cota solicitada, você verá o número do caso com AWS Support. Escolha o número do caso para abrir o tíquete de sua solicitação.

Para informações sobre como solicitar o aumento da cota, consulte Solicitar um aumento de cota no Guia do usuário do AWS Service Quotas.

Configuração SageMaker HyperPod com um Amazon VPC personalizado

Para configurar um SageMaker HyperPod cluster com uma Amazon VPC personalizada, revise os seguintes pré-requisitos.

nota

A configuração da VPC é obrigatória para a orquestração do Amazon EKS. Para a orquestração do Slurm, a configuração da VPC é opcional.

  • Valide a capacidade da Elastic Network Interface (ENI) em sua Conta da AWS antes de criar um SageMaker HyperPod cluster com uma VPC personalizada. O limite de ENI é controlado pelo Amazon EC2 e varia de acordo com. Região da AWS SageMaker HyperPod não pode solicitar automaticamente aumentos de cota.

    Para verificar sua cota de ENI atual:

    1. Abra o console do Service Quotas.

    2. Na seção Gerenciar cotas, use a lista suspensa AWS Serviços para pesquisar VPC.

    3. Opte por visualizar as cotas da Amazon Virtual Private Cloud (Amazon VPC).

    4. Procure a cota de serviço, as interfaces de rede por região ou o código de cota L-DF5E4CA3.

    Se seu limite atual de ENI for insuficiente para suas necessidades de SageMaker HyperPod cluster, solicite um aumento de cota. Garantir previamente a capacidade de ENI adequada ajuda a evitar falhas na implantação do cluster.

  • Ao usar uma VPC personalizada para conectar um SageMaker HyperPod cluster a AWS recursos, forneça o nome da VPC, ID Região da AWS, IDs de sub-rede e IDs do grupo de segurança durante a criação do cluster.

    nota

    Quando a Amazon VPC e as sub-redes permitem usar IPv6 na VPCConfig do cluster ou em nível de grupo de instâncias usando o atributo OverrideVPCConfig de ClusterInstanceGroupSpecification, as comunicações de rede diferem com base na plataforma de orquestração do cluster:

    • Slurm-orchestrated os clusters configuram automaticamente nós com endereços IPv6 e IPv4 duplos, permitindo comunicações de rede IPv6 imediatas. Nenhuma configuração adicional é necessária além das configurações de IPv6 da VPCConfig.

    • Em EKS-orchestrated clusters, os nós recebem endereçamento de pilha dupla, mas os pods só podem usar IPv6 quando o cluster Amazon EKS está explícito. IPv6-enabled Você deve criar um cluster IPv6 do Amazon EKS. Os clusters IPv4 existentes do Amazon EKS não podem ser convertidos em IPv6. Para ter informações sobre a implantação de um cluster IPv6 do Amazon EKS, consulte Implantar um cluster IPv6 do Amazon EKS.

    Recursos adicionais para configuração do IPv6:

  • Certifique-se de que todos os recursos sejam implantados da Região da AWS mesma forma que o SageMaker HyperPod cluster. Configure as regras do grupo de segurança para permitir a comunicação entre recursos dentro da VPC. Por exemplo, ao criar uma VPC na us-west-2, provisione sub-redes em uma ou mais zonas de disponibilidade (como us-west-2a ou us-west-2b) e crie um grupo de segurança que permita o tráfego intragrupo.

    nota

    SageMaker HyperPod oferece suporte à implantação de várias zonas de disponibilidade. Para obter mais informações, consulte Configurando SageMaker HyperPod clusters em várias AZs.

  • Estabeleça a conectividade Amazon Simple Storage Service (Amazon S3) para grupos de VPC-deployed SageMaker HyperPod instâncias criando um VPC endpoint. Sem acesso à internet, os grupos de instâncias não podem armazenar ou recuperar scripts de ciclo de vida, dados de treinamento ou artefatos de modelo. Recomendamos que você crie uma política personalizada do IAM restringindo o acesso ao bucket do Amazon S3 à VPC privada. Para ter mais informações, consulte Gateway endpoints for Amazon S3 no Guia do AWS PrivateLink .

  • Para HyperPod clusters que usam instâncias habilitadas pelo Elastic Fabric Adapter (EFA), configure o grupo de segurança para permitir todo o tráfego de entrada e saída de e para o próprio grupo de segurança. Mais especificamente, evite usar 0.0.0.0/0 para regras de saída, pois isso pode causar falhas na verificação de integridade do EFA. Para obter mais informações sobre as diretrizes de preparação de grupos de segurança da EFA, consulte Etapa 1: Preparar um grupo EFA-enabled de segurança no Guia do usuário do Amazon EC2.

  • Considere cuidadosamente o tamanho do bloco de Inter-Domain roteamento sem classe (CIDR) da sua sub-rede antes de criar clusters. HyperPod

    • O tamanho do bloco CIDR da sub-rede não pode ser alterado após a criação. Isso é especialmente importante quando você usa grandes instâncias aceleradas, como a P5. Sem um tamanho de bloco suficiente, você deve recriar os clusters ao aumentar a escala verticalmente.

    • Ao escolher o tamanho apropriado do bloco CIDR da sub-rede, considere estes fatores: os tipos de instância, o número esperado de instâncias e o número de endereços IP consumidos por instância.

    • Para Slurm-orchestrated clusters, cada instância P5 pode criar 32 endereços IP (um por placa de rede). Para EKS-orchestrated clusters, cada instância P5 pode criar 81 endereços IP (50 da placa primária mais um de cada uma das 31 placas restantes). Para ter especificações detalhadas, consulte Network specifications no Guia do desenvolvedor de tipos de instância do Amazon EC2.

    • Para exemplos de CloudFormation modelos que especificam o tamanho do bloco CIDR da sub-rede, consulte o modelo HyperPod Slurm e o modelo HyperPod Amazon EKS no repositório awsome-distributed-training. https://github.com/aws-samples/awsome-distributed-training/tree/main

Configurando SageMaker HyperPod clusters em várias AZs

Você pode configurar seus SageMaker HyperPod clusters em várias zonas de disponibilidade (AZs) para melhorar a confiabilidade e a disponibilidade.

nota

O tráfego do Elastic Fabric Adapter (EFA) não pode cruzar AZs ou VPCs. Isso não se aplica ao tráfego IP normal do dispositivo ENA de uma interface EFA. Para ter mais informações, consulte Limitações de EFA.

  • Comportamento padrão

    HyperPod implanta todas as instâncias do cluster em uma única zona de disponibilidade. A configuração da VPC determina a AZ de implantação:

    • Para Slurm-orchestrated clusters, a configuração da VPC é opcional. Quando nenhuma configuração de VPC é fornecida, o HyperPod padrão é uma sub-rede da plataforma VPC.

    • Para EKS-orchestrated clusters, a configuração da VPC é necessária.

    • Para orquestradores Slurm e EKS, quando fornecido, VpcConfig HyperPod seleciona uma sub-rede da lista de sub-redes fornecida. VpcConfig Todos os grupos de instâncias herdam a AZ da sub-rede.

    nota

    Após a criação de um cluster, não é possível modificar as definições da VpcConfig.

    Para saber mais sobre como configurar VPCs para HyperPod clusters, consulte a seção anterior,. Configuração SageMaker HyperPod com um Amazon VPC personalizado

  • Multi-AZ configuração

    Você pode configurar seu HyperPod cluster em várias AZs ao criar um cluster ou ao adicionar um novo grupo de instâncias a um cluster existente. Para configurar implantações multi-AZ, você pode substituir as configurações de VPC padrão do cluster especificando diferentes sub-redes e grupos de segurança, possivelmente em diferentes zonas de disponibilidade, para grupos de instâncias individuais no cluster.

    SageMaker HyperPod Os usuários da API podem usar a OverrideVpcConfig propriedade dentro do ClusterInstanceGroupSpecification ao trabalhar com as UpdateCluster APIs CreateCluster ou.

    O campo OverrideVpcConfig:

    • Não pode ser modificado após a criação do grupo de instâncias.

    • É opcional. Se não for especificado, o nível do cluster da VpcConfig será usado como padrão.

    • Para Slurm-orchestrated clusters, só pode ser especificado quando o nível do cluster VpcConfig é fornecido. Se VpcConfig não for especificada no nível do cluster, OverrideVpcConfig não poderá ser usada para nenhum grupo de instâncias.

    • Contém dois campos obrigatórios:

      • Subnets: aceita de 1 a 16 IDs de sub-rede.

      • SecurityGroupIds: aceita de 1 a 5 IDs de grupo de segurança.

    Para obter mais informações sobre como criar ou atualizar um SageMaker HyperPod cluster usando a interface do usuário do SageMaker HyperPod console ou o AWS CLI:

nota

Ao executar workloads em várias AZs, esteja ciente de que a comunicação de rede entre AZs gera latência adicional. Considere esse impacto ao projetar aplicações sensíveis à latência.

Configurar AWS Systems Manager e Run As para controle de acesso de usuários do cluster

SageMaker HyperPod DLAMIvem com AWS Systems Manager (SSM) pronto para uso para ajudar você a gerenciar o acesso aos seus grupos de instâncias de SageMaker HyperPod cluster. Esta seção descreve como criar usuários do sistema operacional (OS) em seus SageMaker HyperPod clusters e associá-los a usuários e funções do IAM. Isso é útil para autenticar sessões SSM usando as credenciais da conta de usuário do sistema operacional.

nota

Conceder aos usuários acesso aos nós HyperPod do cluster permite que eles instalem e operem software gerenciado pelo usuário nos nós. Mantenha o princípio de permissões de privilégio mínimo para os usuários.

Habilitando o Run As em seu AWS account

Como administrador de AWS conta ou administrador de nuvem, você pode gerenciar o acesso a SageMaker HyperPod clusters em uma função do IAM ou em nível de usuário usando o recurso Run As no SSM. Com esse atributo, você pode iniciar cada sessão de SSM usando o usuário do sistema operacional associado ao perfil ou ao perfil do IAM.

Para ativar o Run As em sua AWS conta, siga as etapas em Ativar o suporte do Run As para nós gerenciados por Linux e macOS. Se você já criou usuários de sistema operacional em seu cluster, certifique-se de associá-los às funções ou perfis do IAM, marcando-os conforme orientado na Opção 2 da etapa 5, em Ativar a opção de compatibilidade Executar como para nós gerenciados do Linux e macOS.

(Opcional) Configuração SageMaker HyperPod com o Amazon FSx for Lustre

Para começar a usar SageMaker HyperPod e mapear caminhos de dados entre o cluster e seu sistema de arquivos FSx for Lustre, selecione um dos Regiões da AWS suportados por. SageMaker HyperPod Depois de escolher a Região da AWS que você prefere, você também deve determinar qual zona de disponibilidade (AZ) usar.

Se você usar nós de SageMaker HyperPod computação em AZs diferentes dos AZs em que seu sistema de arquivos FSx for Lustre está configurado dentro do mesmo Região da AWS, pode haver sobrecarga de comunicação e rede. Recomendamos que você use o mesmo AZ físico da conta de SageMaker HyperPod serviço para evitar qualquer tráfego cruzado de AZ entre SageMaker HyperPod clusters e seu sistema de arquivos FSx for Lustre. Além disso, verifique se o configurou com sua VPC. Se quiser usar o Amazon FSx como o principal sistema de arquivos para armazenamento, você deve configurar SageMaker HyperPod clusters com sua VPC.