Pré-requisitos para usar o SageMaker HyperPod - SageMaker IA da Amazon
SageMaker HyperPod cotasConfigurando SageMaker HyperPod com sua Amazon VPCConfigurando SageMaker HyperPod clusters em vários AZsConfigurando AWS Systems Manager e executando como para controle de acesso do usuário do cluster(Opcional) Configurando SageMaker HyperPod com o Amazon FSx for Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Pré-requisitos para usar o SageMaker HyperPod

As seções a seguir explicam os pré-requisitos antes de começar. SageMaker HyperPod

SageMaker HyperPod cotas

Você pode criar SageMaker HyperPod clusters considerando as cotas de uso do cluster em sua AWS conta.

Importante

Para saber mais sobre SageMaker HyperPod preços, consulte SageMaker HyperPod preços Amazon SageMaker AI Pricing.

Veja as SageMaker HyperPod cotas da Amazon usando o AWS Management Console

Procure os valores padrão e aplicados de uma cota, também conhecida como limite, para uso do cluster, que é usada para SageMaker HyperPod.

  1. Abra o console de Service Quotas.

  2. No painel de navegação à esquerda, selecione Serviços da AWS .

  3. Na lista de AWS serviços, pesquise e selecione Amazon SageMaker AI.

  4. Na lista de cotas de serviço, você pode ver o nome da cota de serviço, o valor aplicado (se disponível), a cota AWS padrão e se o valor da cota é ajustável.

  5. Na barra de pesquisa, digite uso do cluster. Isso mostra as cotas para uso do cluster, as cotas aplicadas e as cotas padrão.

Solicite um aumento de SageMaker HyperPod cota da Amazon usando o AWS Management Console

Aumente suas cotas no nível da conta ou do recurso.

  1. Para aumentar a cota de instâncias para uso do cluster, selecione a cota que você deseja aumentar.

  2. Se a cota for ajustável, você poderá solicitar um aumento de cota no nível da conta ou do recurso com base no valor listado na coluna Ajustabilidade.

  3. Em Alterar o valor da cota, insira o novo valor. O novo valor deve ser maior que o valor atual.

  4. Escolha Solicitar.

  5. Para visualizar quaisquer solicitações pendentes ou resolvidas recentemente no console, navegue até a guia Histórico de solicitações na página de detalhes do serviço ou escolha Painel no painel de navegação. Para solicitações pendentes, escolha o status da solicitação para abrir o recibo da solicitação. O status inicial de uma solicitação é Pending (Pendente). Depois que o status mudar para Cota solicitada, você verá o número do caso com AWS Support. Escolha o número do caso para abrir o tíquete de sua solicitação.

Para informações sobre como solicitar o aumento da cota, consulte Solicitar um aumento de cota no Guia do usuário do AWS Service Quotas.

Configurando SageMaker HyperPod com sua Amazon VPC

Para configurar um SageMaker HyperPod cluster com sua Amazon VPC, verifique os itens a seguir.

nota

É necessário para orquestrar com o Amazon EKS. Para orquestrar com o Slurm, configurar sua própria VPC é opcional.

  • Antes de criar um SageMaker HyperPod cluster com uma VPC personalizada, certifique-se de que você Conta da AWS tenha capacidade suficiente para criar o número necessário de interfaces de rede elástica (ENIs) dentro dessa VPC. Esse limite é controlado pela Amazon EC2 e varia de acordo com Região da AWS. SageMaker HyperPod não pode solicitar aumentos de limite em seu nome.

    Para verificar seu limite atual de ENI:

    1. Abra o console de Service Quotas.

    2. Na seção Gerenciar cotas, use a lista suspensa AWS Serviços para pesquisar VPC.

    3. Escolha visualizar as cotas da Amazon Virtual Private Cloud (Amazon VPC).

    4. Procure a cota de serviço, as interfaces de rede por região ou o código da cota. L-DF5E4CA3

    Se o limite atual for insuficiente para as necessidades SageMaker HyperPod do cluster, solicite um aumento de cota. Garantir previamente a capacidade de ENI adequada ajuda a evitar falhas na criação de clusters.

  • Se você quiser usar sua própria VPC para se conectar SageMaker HyperPod aos AWS recursos em sua VPC, precisará fornecer o nome, o ID, o ID da sub-rede e o ID do grupo de Região da AWS segurança da VPC ao criar. SageMaker HyperPod Se você quiser criar uma nova VPC, consulte Criar uma VPC padrão ou Criar uma VPC no Guia do usuário da Amazon Virtual Private Cloud.

  • É importante que você crie todos os seus recursos no mesmo Região da AWS SageMaker HyperPod cluster e configure as regras do grupo de segurança para permitir conexões entre os recursos em sua VPC. Por exemplo, suponha que você crie uma VPC em us-west-2. Você deve criar sub-redes nessa VPC em uma ou mais zonas de disponibilidade conforme necessário (como us-west-2a ouus-west-2b) e criar um grupo de segurança que permita todo o tráfego de entrada (entrada) de dentro do grupo de segurança e todo o tráfego de saída.

    nota

    Ao configurar um SageMaker HyperPod cluster, você pode optar por implantar em várias zonas de disponibilidade. Para obter mais informações, consulte Configurando SageMaker HyperPod clusters em vários AZs.

  • Você também precisa garantir que sua VPC tenha conexão com Amazon Simple Storage Service (Amazon S3). Se você configurar uma VPC, os grupos de SageMaker HyperPod instâncias não terão acesso à Internet e, portanto, não poderão se conectar ao Amazon S3 para acessar ou armazenar arquivos como scripts de ciclo de vida, dados de treinamento e artefatos de modelo. Para estabelecer uma conexão com o Amazon S3 ao usar a VPC, você deve criar um endpoint da VPC. Ao criar um VPC endpoint, você pode permitir que os grupos de SageMaker HyperPod instâncias acessem os buckets do Amazon S3 dentro da mesma VPC. Recomendamos que você também crie uma política personalizada para que apenas solicitações da sua VPC privada acessem os buckets do S3. Para mais informações, consulte Endpoints para Amazon S3 no Guia do AWS PrivateLink .

  • Se você quiser criar um HyperPod cluster com instâncias habilitadas para EFA, certifique-se de configurar um grupo de segurança para permitir todo o tráfego de entrada e saída do próprio grupo de segurança. Observe que permitir o acesso ao tráfego de saída 0.0.0.0/0 não é suficiente e pode fazer com que as verificações de integridade do EFA falhem. Certifique-se de adicionar uma regra de tráfego de saída explícita ao grupo de segurança para que as instâncias do grupo de segurança possam se comunicar. Para saber mais, consulte Etapa 1: Preparar um grupo de segurança habilitado para EFA no Guia EC2 do usuário da Amazon.

Configurando SageMaker HyperPod clusters em vários AZs

Você pode configurar seus SageMaker HyperPod clusters em várias zonas de disponibilidade (AZs) para obter uma maior capacidade de instância.

nota

O tráfego do Elastic Fabric Adapter (EFA) não pode cruzar ou. AZs VPCs Isso não se aplica ao tráfego IP normal do dispositivo ENA de uma interface EFA. Para obter mais informações, consulte Limitações do EFA.

Quando você cria um HyperPod cluster, todas as HyperPod instâncias são criadas dentro da mesma AZ usando VpcConfigem nível de cluster. Para saber mais VPCs e como criar novos para seu cluster, consulte a seção anterior,Configurando SageMaker HyperPod com sua Amazon VPC.

Você pode configurar seu HyperPod cluster em vários AZs ao criar ou atualizar seu cluster usando o console de SageMaker IA. Como alternativa, você pode usar o seguinte APIs.

Durante a nova InstanceGroupcriação usando CreateClustere UpdateCluster APIs, você pode usar a OverrideVpcConfig propriedade no InstanceGroup nível para substituir a sub-rede IDs e os grupos de segurança do. InstanceGroup A lista a seguir fornece informações sobreOverrideVpcConfig. O OverrideVpcConfig campo:

  • É imutável. Depois que um grupo de instâncias é criado, ele sempre será associado à mesma sub-rede na conta.

  • É opcional.

    • Se não for especificado, o nível do cluster VpcConfig será usado como padrão.

    • Quando especificados, os subcampos Subnets eSecurityGroupIds, são obrigatórios.

  • Tem dois subcampos:

    • SubnetsO subcampo oferece suporte a um único ID de sub-rede para um grupo de instâncias.

    • SecurityGroupIdsO subcampo suporta de 1 a 5 entradas.

nota

A latência da rede pode ser reduzida para cargas de trabalho executadas em várias. AZs

Configurando AWS Systems Manager e executando como para controle de acesso do usuário do cluster

SageMaker HyperPod DLAMIvem com AWS Systems Manager(SSM) pronto para uso para ajudar você a gerenciar o acesso aos grupos de instâncias SageMaker HyperPod do cluster. Esta seção descreve como criar usuários do sistema operacional (SO) em seus SageMaker HyperPod clusters e associá-los a usuários e funções do IAM. Isso é útil para autenticar sessões SSM usando as credenciais da conta de usuário do sistema operacional.

nota

Conceder aos usuários acesso aos nós HyperPod do cluster permite que eles instalem e operem software gerenciado pelo usuário nos nós. Certifique-se de manter o princípio de permissões de privilégio mínimo para os usuários.

Ativando o Run As em sua AWS conta

Como administrador AWS da conta ou administrador da nuvem, você pode gerenciar o acesso aos SageMaker HyperPod clusters em uma função do IAM ou nível de usuário usando o recurso Run As no SSM. Com esse atributo, você pode iniciar cada sessão de SSM usando o usuário do sistema operacional associado ao perfil ou ao perfil do IAM.

Para ativar o Run As em sua AWS conta, siga as etapas em Ativar o suporte ao Run As para nós gerenciados do Linux e macOS. Se você já criou usuários de sistema operacional em seu cluster, certifique-se de associá-los às funções ou perfis do IAM, marcando-os conforme orientado na Opção 2 da etapa 5, em Ativar a opção de compatibilidade Executar como para nós gerenciados do Linux e macOS.

(Opcional) Configurando SageMaker HyperPod com o Amazon FSx for Lustre

Para começar a usar SageMaker HyperPod e mapear caminhos de dados entre o cluster e seu sistema de arquivos FSx for Lustre, selecione um dos Regiões da AWS compatíveis com. SageMaker HyperPod Depois de escolher a Região da AWS que você prefere, você também deve determinar qual zona de disponibilidade (AZ) usar.

Se você usar nós de SageMaker HyperPod computação AZs diferentes de AZs onde seu sistema de arquivos FSx for Lustre está configurado no mesmo Região da AWS, pode haver sobrecarga de comunicação e rede. Recomendamos que você use a mesma AZ física da conta de SageMaker HyperPod serviço para evitar qualquer tráfego cruzado de AZ entre SageMaker HyperPod clusters e seu sistema de arquivos FSx for Lustre. Além disso, verifique se o configurou com sua VPC. Se você quiser usar a Amazon FSx como o principal sistema de arquivos para armazenamento, deverá configurar SageMaker HyperPod clusters com sua VPC.