Notas SageMaker HyperPod de lançamento da Amazon

Adicionado EKS suporte da Amazon em SageMaker HyperPod. Para saber mais, consulte Orquestrando SageMaker HyperPod clusters com a Amazon EKS.

Aprimorou a funcionalidade de SageMaker HyperPod retomada automática, ampliando a capacidade de resiliência dos nós Slurm conectados com Generic (). RESources GRES

Quando Generic Resources (GRES) são anexados a um nó do Slurm, o Slurm normalmente não permite alterações na alocação do nó, como a substituição de nós, e, portanto, não permite a retomada de um trabalho com falha. A menos que seja explicitamente proibida, a funcionalidade de HyperPod retomada automática coloca automaticamente em fila novamente qualquer trabalho com defeito associado aos nós habilitados. GRES Esse processo envolve interromper o trabalho, colocá-lo de volta na fila de trabalhos e, em seguida, reiniciar o trabalho desde o início.

Pré-embalado slurmrestdno. SageMaker HyperPod AMI

Os valores padrão foram ResumeTimeout alterados UnkillableStepTimeout de 60 segundos para 300 segundos para melhorar slurm.conf a capacidade de resposta do sistema e o gerenciamento do trabalho.

Fizemos pequenas melhorias nas verificações de integridade do NVIDIA Data Center GPU Manager (DCGM) e da Interface de Gerenciamento do NVIDIA Sistema (nvidia-smi).

O plug-in de HyperPod retomada automática pode usar nós ociosos para retomar um trabalho.

Execute o comando a seguir para chamar o UpdateClusterSoftwareAPIpara atualizar seus HyperPod clusters existentes com os mais recentes HyperPod DLAMI. Para obter mais instruções, consulteAtualizar o software da SageMaker HyperPod plataforma de um cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Foi adicionada uma nova capacidade de anexar armazenamento adicional às instâncias SageMaker HyperPod do cluster. Com esse recurso, você pode configurar o armazenamento suplementar no nível de configuração do grupo de instâncias durante os processos de criação ou atualização do cluster, seja por meio do SageMaker HyperPod console ou do CreateClustere. UpdateClusterAPIs O EBS volume adicional é anexado a cada instância dentro de um SageMaker HyperPod cluster e montado em/opt/sagemaker. Para saber mais sobre como implementá-lo em seu SageMaker HyperPod cluster, consulte a documentação atualizada nas páginas a seguir.

Observe que você precisa atualizar o software do HyperPod cluster para usar esse recurso. Depois de corrigir o software de HyperPod cluster, você pode utilizar esse recurso para SageMaker HyperPod clusters existentes criados antes de 20 de junho de 2024 adicionando novos grupos de instâncias. Esse recurso é totalmente efetivo para qualquer SageMaker HyperPod cluster criado após 20 de junho de 2024.

Execute o comando a seguir para chamar o UpdateClusterSoftwareAPIpara atualizar seus HyperPod clusters existentes com os mais recentes HyperPod DLAMI. Para obter mais instruções, consulteAtualizar o software da SageMaker HyperPod plataforma de um cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Corrigido um bug com o ThreadsPerCore parâmetro no ClusterInstanceGroupSpecificationAPI. Com a correção, pegue CreateClustere aplique UpdateClusterAPIsadequadamente a entrada do usuárioThreadsPerCore. Essa correção é efetiva em HyperPod clusters criados após 24 de abril de 2024. Se você teve problemas com esse bug e deseja que essa correção seja aplicada ao seu cluster, você precisa criar um novo cluster. Certifique-se de fazer backup e restaurar seu trabalho ao migrar para um novo cluster, seguindo as instruções emUse o script de backup fornecido pelo SageMaker HyperPod.

Nesta versão do HyperPod DLAMI, o Slurm foi criado com REST service (slurmestd) com JSONYAML, e JWT suporte.

Slurm atualizado para v23.11.3

Execute o comando a seguir para chamar o UpdateClusterSoftwareAPIpara atualizar seus HyperPod clusters existentes com os mais recentes HyperPod DLAMI. Para obter mais instruções, consulteAtualizar o software da SageMaker HyperPod plataforma de um cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Aumento do tempo limite do serviço de retomada automática para 60 minutos.

Processo aprimorado de substituição de instâncias para não reiniciar o controlador Slurm.

Mensagens de erro aprimoradas da execução de scripts de ciclo de vida, como erros de download e erros de verificação de integridade da instância na inicialização da instância.

Corrigido um bug com o serviço chrony que causava um problema com a sincronização de horário.

Corrigido um bug com a análise. slurm.conf

Corrigido um problema com a NVIDIAgo-dcgmbiblioteca.

Slurm atualizado para v23.11.1

Adicionado O penPMIx v4.2.6 para habilitar o Slurm com. PMIx

Construído sobre o AWS Deep Learning Base GPU AMI (Ubuntu 20.04) lançado em 2023-10-26

Uma lista completa de pacotes pré-instalados HyperPod DLAMI neste, além da base AMI

Execute o comando a seguir para chamar o UpdateClusterSoftwareAPIpara atualizar seus HyperPod clusters existentes com os mais recentes HyperPod DLAMI. Para obter mais instruções, consulteAtualizar o software da SageMaker HyperPod plataforma de um cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod agora suporta adequadamente a passagem de nomes de partição fornecidos provisioning_params.json e cria partições apropriadamente com base nas entradas fornecidas. Para obter mais informações sobre a provisioning_params.json, consulte SageMaker HyperPod formulários e SageMaker HyperPod melhores práticas de configuração do ciclo de vida.

Foi adicionada uma nova UpdateClusterSoftware API correção SageMaker HyperPod de segurança. Quando os patches de segurança estiverem disponíveis, recomendamos que você atualize os SageMaker HyperPod clusters existentes em sua conta executandoaws sagemaker update-cluster-software --cluster-name your-cluster-name. Para acompanhar futuros patches de segurança, continue acompanhando esta página de notas de SageMaker HyperPod lançamento da Amazon. Para saber como UpdateClusterSoftware API funciona, consulteAtualizar o software da SageMaker HyperPod plataforma de um cluster.

Lançou a Amazon SageMaker HyperPod em AWS re: Invent 2023.

Construído sobre o AWS Deep Learning Base GPU AMI (Ubuntu 20.04) lançado em 2023-10-18

Uma lista completa de pacotes pré-instalados HyperPod DLAMI neste, além da base AMI