View a markdown version of this page

Comece a usar o suporte do Amazon EKS em SageMaker HyperPod - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comece a usar o suporte do Amazon EKS em SageMaker HyperPod

Além do formulário geral Pré-requisitos para usar SageMaker HyperPod SageMaker HyperPod, verifique os seguintes requisitos e considerações para orquestrar SageMaker HyperPod clusters usando o Amazon EKS.

Importante

Você pode definir a configuração de recursos para criar SageMaker HyperPod clusters usando Console de gerenciamento da AWS CloudFormation e. Para obter mais informações, consulte Criação de um SageMaker HyperPod cluster com a orquestração do Amazon EKS e Criação de SageMaker HyperPod clusters usando CloudFormation modelos do.

Requisitos

nota

Antes de criar um HyperPod cluster, você precisa de um cluster Amazon EKS em execução configurado com VPC e instalado usando o Helm.

Ao provisionar o cluster do Amazon EKS, considere o seguinte:

  1. Versão compatível do Kubernetes

    • SageMaker HyperPod oferece suporte às versões 1.30, 1.31, 1.32, 1.33, 1.34 e 1.35 do Kubernetes.

  2. Modo de autenticação de cluster do Amazon EKS

    • O modo de autenticação de um cluster Amazon EKS suportado por SageMaker HyperPod são API API_AND_CONFIG_MAP e.

  3. Redes

  4. Perfis do IAM

  5. Complementos do cluster do Amazon EKS

    • Você pode continuar usando os vários complementos fornecidos pelo Amazon EKS Kube-proxy, como o CoreDNS, o plug-in Amazon VPC Container Network Interface (CNI), a identidade do pod Amazon EKS, o GuardDuty agente, o driver Amazon FSx Container Storage Interface (CSI), o driver CSI Mountpoint for Amazon S3, o Distro for e o agente Observability. AWS OpenTelemetry CloudWatch

      Importante

      Não instale um driver CSI que gerencie o armazenamento de instâncias NVMe (às vezes chamado de driver CSI de armazenamento de instâncias locais) em HyperPod nós que usam a AMI. SageMaker HyperPod A AMI configura um grupo de volumes LVM (vg.01) no armazenamento de instâncias NVMe na inicialização, antes que o driver CSI seja iniciado, e um driver CSI voltado para os mesmos dispositivos NVMe entrará em conflito com essa configuração e causará falhas. I/O O driver CSI do Amazon EBS, o driver CSI do Amazon FSx, o driver CSI do Amazon EFS e o driver CSI Mountpoint for Amazon S3 não são afetados porque não gerenciam o armazenamento local da instância NVMe. Para obter detalhes e etapas de remediação, consulte a seção Considerações em. Usando o driver CSI do Amazon EBS em SageMaker HyperPod clusters EKS

Considerações sobre a configuração de SageMaker HyperPod clusters com o Amazon EKS

  • É necessário usar perfis do IAM distintos com base no tipo de nó. Para HyperPod nós, use uma função baseada emFunção do IAM para SageMaker HyperPod. Para os nós do Amazon EKS, consulte Amazon EKS node IAM role.

  • Você pode provisionar e montar volumes adicionais do Amazon EBS em SageMaker HyperPod nós usando duas abordagens: usar InstanceStorageConfigs para provisionamento de volume em nível de cluster (disponível ao criar ou atualizar grupos de instâncias) ou usar o driver CSI (Container Storage Interface) do Amazon Elastic Block Store (Amazon EBS) para gerenciamento dinâmico de volumes em nível de pod. Com InstanceStorageConfigs , defina o caminho local como /opt/sagemaker para montar adequadamente os volumes em seus pods do Amazon EKS. Para obter informações sobre como implantar o controlador CSI do Amazon EBS em HyperPod nós, consulte. Usando o driver CSI do Amazon EBS em SageMaker HyperPod clusters EKS Para usar o armazenamento de instâncias NVMe no HyperPod, confie na configuração LVM integrada da AMI /opt/sagemaker em vez de instalar um driver CSI separado. NVMe-targeting

  • Se você usar rótulos de tipo de instância para definir restrições de agendamento, certifique-se de usar os tipos de instância do SageMaker AI ML prefixados com. ml. Por exemplo, para instâncias P5, use ml.p5.48xlarge em vez de p5.48xlarge.

Considerações para configurar a rede para SageMaker HyperPod clusters com o Amazon EKS

  • Cada instância de HyperPod cluster oferece suporte a uma interface de rede elástica (ENI). Para saber o número máximo de pods por tipo de instância, consulte a tabela a seguir.

    Tipo de instância Número máximo de pods
    ml.p4d.24xlarge 49
    ml.p4de.24xlarge 49
    ml.p5.48xlarge 49
    ml.trn1.32xlarge 49
    ml.trn1n.32xlarge 49
    ml.g5.xlarge 14
    ml.g5.2xlarge 14
    ml.g5.4xlarge 29
    ml.g5.8xlarge 29
    ml.g5.12xlarge 49
    ml.g5.16xlarge 29
    ml.g5.24xlarge 49
    ml.g5.48xlarge 49
    ml.c5.large 9
    ml.c5.xlarge 14
    ml.c5.2xlarge 14
    ml.c5.4xlarge 29
    ml.c5.9xlarge 29
    ml.c5.12xlarge 29
    ml.c5.18xlarge 49
    ml.c5.24xlarge 49
    ml.c5n.large 9
    ml.c5n.2xlarge 14
    ml.c5n.4xlarge 29
    ml.c5n.9xlarge 29
    ml.c5n.18xlarge 49
    ml.m5.large 9
    ml.m5.xlarge 14
    ml.m5.2xlarge 14
    ml.m5.4xlarge 29
    ml.m5.8xlarge 29
    ml.m5.12xlarge 29
    ml.m5.16xlarge 49
    ml.m5.24xlarge 49
    ml.t3.medium 5
    ml.t3.large 11
    ml.t3.xlarge 14
    ml.t3.2xlarge 14
    ml.g6.xlarge 14
    ml.g6.2xlarge 14
    ml.g6.4xlarge 29
    ml.g6.8xlarge 29
    ml.g6.12xlarge 29
    ml.g6.16xlarge 49
    ml.g6.24xlarge 49
    ml.g6.48xlarge 49
    ml.gr6.4xlarge 29
    ml.gr6.8xlarge 29
    ml.g6e.xlarge 14
    ml.g6e.2xlarge 14
    ml.g6e.4xlarge 29
    ml.g6e.8xlarge 29
    ml.g6e.12xlarge 29
    ml.g6e.16xlarge 49
    ml.g6e.24xlarge 49
    ml.g6e.48xlarge 49
    ml.p5e.48xlarge 49
    ml.p6-b300,48x grande 49
    ml.r5d.16xlarge 49
    ml.g7e.2xlarge 49
    ml.g7e.4xlarge 49
    ml.g7e.8xlarge 49
    ml.g7e.12xlarge 49
    ml.g7e.24xlarge 49
    ml.g7e.48x large 49
    ml.g4dn.xlarge 9
    ml.g4dn.2xlarge 9
    ml.g4dn.4xlarge 9
    ml.g4dn.8xlarge 14
    ml.g4dn.12xlarge 29
    ml.g4dn.16xlarge 14
    ml.c6g.medium 3
    ml.c6g.large 9
    ml.c6g.xlarge 14
    ml.c6g.2x grande 14
    ml.c6g.4xlarge 29
    ml.c6g.8x grande 29
    ml.c6g.12x grande 29
    ml.c6g.16x grande 49
    ml.c7g.medium 3
    ml.c7g.large 9
    ml.c7g.xlarge 14
    ml.c7g.2x grande 14
    ml.c7g.4xlarge 29
    ml.c7g.8x grande 29
    ml.c7g.12x grande 29
    ml.c7g.16x large 49
    ml.c8g.medium 3
    ml.c8g.large 9
    ml.c8g.xlarge 14
    ml.c8g.2x grande 14
    ml.c8g.4xlarge 29
    ml.c8g.8x grande 29
    ml.c8g.12x grande 29
    ml.c8g.16x grande 49
    ml.c8g.24xlarge 49
    ml.c8g.48x grande 49
    ml.c6a.large 9
    ml.c6a.xlarge 14
    ml.c6a.2xlarge 14
    ml.c6a.4xlarge 29
    ml.c6a.8xlarge 29
    ml.c6a.12xlarge 29
    ml.c6a.16xlarge 49
    ml.c6a.24xlarge 49
    ml.c6a.32xlarge 49
    ml.c6a.48x large 49
    ml.m6a.large 9
    ml.m6a.xlarge 14
    ml.m6a.2x grande 14
    ml.m6a.4x grande 29
    ml.m6a.8x grande 29
    ml.m6a.12x grande 29
    ml.m6a.16x grande 49
    ml.m6a.24x grande 49
    ml.m6a.32x large 49
    ml.m6a.48x grande 49
    ml.m6g.médio 3
    ml.6g.large 9
    ml.m6g.xlarge 14
    ml.m6g.2x grande 14
    ml.m6g.4x grande 29
    ml.m6g.8x grande 29
    ml.m6g.12x grande 29
    ml.m6g.16x grande 49
    ml.m7g.medium 3
    ml.7g.large 9
    ml.m7g.xlarge 14
    ml.m7g.2x grande 14
    ml.m7g.4x grande 29
    ml.m7g.8x grande 29
    ml.m7g.12x grande 29
    ml.m7g.16x grande 49
    ml.m8g.médio 3
    ml.8g.large 9
    ml.m8g.xlarge 14
    ml.m8g.2x grande 14
    ml.m8g.4x grande 29
    ml.m8g.8x grande 29
    ml.m8g.12x grande 29
    ml.m8g.16x grande 49
    ml.m8g.24x grande 49
    ml.m8g.48x grande 49

  • Somente pods com hostNetwork = true têm acesso ao serviço de metadados de instância (IMDS) do Amazon EC2 por padrão. Use a identidade do Amazon EKS Pod ou as funções do IAM para contas de serviço (IRSA) para gerenciar o acesso às AWS credenciais dos pods.

  • EKS-orchestrated HyperPod os clusters suportam modos de endereçamento IP duplo, permitindo a configuração com IPv4 ou IPv6 para clusters IPv6 do Amazon EKS em ambientes de VPC e sub-rede. IPv6-enabled Para obter mais informações, consulte Configuração SageMaker HyperPod com um Amazon VPC personalizado.

Considerações sobre o uso dos recursos de resiliência HyperPod do cluster

  • A substituição automática de nós não é compatível com instâncias de CPU.

  • O agente de monitoramento de HyperPod integridade precisa ser instalado para que a recuperação automática do nó funcione. O agente pode ser instalado usando o Helm. Para obter mais informações, consulte Instalar pacotes no cluster do Amazon EKS usando o Helm.

  • O agente de verificação HyperPod profunda e monitoramento de integridade oferece suporte a instâncias de GPU e Trn.

  • SageMaker A IA aplica a seguinte mancha aos nós quando eles estão passando por verificações de integridade profundas:

    effect: NoSchedule
key: sagemaker.amazonaws.com/node-health-status
value: Unschedulable
    nota

    Você não pode adicionar taints personalizadas aos nós em grupos de instâncias com a opção DeepHealthChecks ativada.

Depois que seu cluster Amazon EKS estiver em execução, configure-o usando o gerenciador de pacotes Helm conforme as instruções em Instalar pacotes no cluster do Amazon EKS usando o Helm antes de criar seu HyperPod cluster.