As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Criando um cluster no AWS Parallel Computing Service
Este tópico fornece uma visão geral das opções disponíveis e descreve o que considerar ao criar um cluster no Serviço de Computação AWS Paralela (AWS PCS). Se esta é a primeira vez que você cria um cluster AWS PCS, recomendamos que você sigaComece a usar o serviço de computação AWS paralela. O tutorial pode ajudá-lo a criar um sistema de HPC funcional sem expandir para todas as opções e arquiteturas de sistema disponíveis que são possíveis.
Pré-requisitos
Crie um cluster AWS PCS
Você pode usar o AWS Management Console ou AWS CLI para criar um cluster.
- AWS Management Console
-
Para criar um cluster
-
Abra o console AWS PCS em https://console.aws.amazon.com/pcs/home#/clusters e escolha Create cluster.
-
Na seção Configuração do cluster, insira os seguintes campos:
-
Nome do cluster — Um nome para seu cluster. O nome só pode conter caracteres alfanuméricos (sensíveis a maiúsculas e minúsculas) e hifens. Ele deve começar com um caractere alfabético e não pode ter mais de 40 caracteres. O nome deve ser exclusivo no Região da AWS e no Conta da AWS qual você está criando o cluster.
-
Agendador — Escolha um agendador e uma versão. AWS Atualmente, o PCS suporta o Slurm 24.05 e 23.11. Para obter mais informações, consulte Versões Slurm no PCS AWS.
-
Tamanho do controle — Escolha um tamanho para o controle. Isso determina quantos trabalhos e nós de computação simultâneos podem ser gerenciados pelo cluster AWS PCS. Você só pode definir o tamanho do controlador quando o cluster é criado. Para obter mais informações sobre dimensionamento, consulteTamanho do cluster no AWS PCS.
-
Na seção Rede, selecione valores para os seguintes campos:
-
VPC — Escolha uma VPC existente que atenda aos requisitos da PCS. AWS Para obter mais informações, consulte AWS Requisitos e considerações sobre PCS, VPC e sub-rede. Depois de criar o cluster, você não pode alterar sua VPC. Se nenhum VPCs estiver listado, você deverá criar um primeiro.
-
Sub-rede — Todas as sub-redes disponíveis na VPC selecionada são listadas. Escolha uma sub-rede que atenda aos requisitos de sub-rede do AWS PCS. Para obter mais informações, consulte AWS Requisitos e considerações sobre PCS, VPC e sub-rede. Recomendamos que você selecione uma sub-rede privada para evitar a exposição dos endpoints do agendador à Internet pública.
-
Grupos de segurança — especifique os grupos de segurança que você deseja que o AWS PCS associe às interfaces de rede que ele cria para seu cluster. Você deve selecionar pelo menos um grupo de segurança que permita a comunicação entre seu cluster e seus nós de computação. Para obter mais informações, consulte Requisitos e considerações do grupo de segurança.
-
(Opcional) Em Criptografia, você pode definir uma chave personalizada para criptografar os dados do controlador definindo estes campos:
-
(Opcional) Na seção Configuração do Slurm, você pode especificar as opções de configuração do Slurm que substituem os padrões definidos pelo PCS: AWS
-
Reduza o tempo de inatividade — isso controla por quanto tempo os nós de computação provisionados dinamicamente permanecem ativos após a conclusão ou o término dos trabalhos colocados neles. Definir isso para um valor maior pode aumentar a probabilidade de uma tarefa subsequente ser executada no nó, mas pode levar ao aumento dos custos. Um valor menor diminuirá os custos, mas poderá aumentar a proporção de tempo que seu sistema de HPC gasta provisionando nós em vez de executar trabalhos neles.
-
Prolog — Esse é um caminho totalmente qualificado para um diretório de scripts de prolog em suas instâncias do grupo de nós de computação. Isso corresponde à configuração do Prolog no Slurm. Observe que isso deve ser um diretório, não um caminho para um executável específico.
-
Epilog — Esse é um caminho totalmente qualificado para um diretório de scripts de epilog em suas instâncias do grupo de nós de computação. Isso corresponde à configuração do Epilog no Slurm. Observe que isso deve ser um diretório, não um caminho para um executável específico.
-
Selecionar parâmetros de tipo — Isso ajuda a controlar o algoritmo de seleção de recursos usado pelo Slurm. Definir esse valor como CR_CPU_Memory
ativará o agendamento com reconhecimento de memória, enquanto configurá-lo como CR_CPU
ativará o agendamento somente da CPU. Esse parâmetro corresponde à SelectTypeParametersconfiguração no Slurm, onde SelectType
é definido select/cons_tres
pelo AWS PCS.
-
(Opcional) Em Tags, adicione qualquer tag ao seu cluster AWS PCS.
-
Selecione Criar cluster. O campo Status é exibido Creating
enquanto o AWS PCS cria o cluster. Esse processo pode levar alguns minutos.
Só pode haver 1 cluster em um Creating
estado Região da AWS
por pessoa Conta da AWS. AWS O PCS retornará um erro se já houver um cluster em um Creating
estado quando você tentar criar um cluster.
- AWS CLI
-
Para criar um cluster
-
Crie o cluster usando o comando a seguir. Antes da execução do comando, realize as seguintes substituições:
-
region
Substitua pelo ID do Região da AWS qual você deseja criar seu cluster, comous-east-1
.
-
Substitua my-cluster
por um nome de cluster. O nome só pode conter caracteres alfanuméricos (sensíveis a maiúsculas e minúsculas) e hifens. Ele deve começar com um caractere alfabético e não pode ter mais de 40 caracteres. O nome deve ser exclusivo dentro Região da AWS e Conta da AWS onde você está criando o cluster.
-
24.05
Substitua por qualquer versão compatível do Slurm.
AWS Atualmente, o PCS suporta o Slurm 24.05 e 23.11.
-
SMALL
Substitua por qualquer tamanho de cluster compatível. Isso determina quantos trabalhos e nós de computação simultâneos podem ser gerenciados pelo cluster AWS PCS. Ele só pode ser definido quando o cluster é criado. Para obter mais informações sobre dimensionamento, consulteTamanho do cluster no AWS PCS.
-
Substitua o valor subnetIds
por pelo seu. Recomendamos que você selecione uma sub-rede privada para evitar a exposição dos endpoints do agendador à Internet pública.
-
Especifique o securityGroupIds
que você deseja que o AWS PCS associe às interfaces de rede que ele cria para seu cluster. Os grupos de segurança devem estar na mesma VPC do cluster. Você deve selecionar pelo menos um grupo de segurança que permita a comunicação entre seu cluster e seus nós de computação. Para obter mais informações, consulte Requisitos e considerações do grupo de segurança.
-
Opcionalmente, você pode ajustar o comportamento do Slurm adicionando uma opção. --slurm-configration
Por exemplo, você pode definir o tempo de inatividade de redução para 60 minutos (3600 segundos) com. --slurm configuration
scaleDownIdeTime=3600
-
Opcionalmente, você pode fornecer uma chave KMS personalizada para criptografar os dados do seu controlador usando. --kms-key-id kms-key
kms-key
Substitua por um ARN, ID de chave ou alias do KMS existente. Observe que a conta usada para criar o cluster deve ter kms:Decrypt
privilégios na chave KMS personalizada.
aws pcs create-cluster --region region
\
--cluster-name my-cluster
\
--scheduler type=SLURM,version=24.05
\
--size SMALL
\
--networking subnetIds=subnet-ExampleId1
,securityGroupIds=sg-ExampleId1
-
O provisionamento do cluster pode levar vários minutos. Você pode consultar o status do cluster com o comando a seguir. Não continue criando filas ou grupos de nós de computação até que o campo de status do cluster seja exibido. ACTIVE
aws pcs get-cluster --region region
--cluster-identifier my-cluster
Só pode haver 1 cluster em um Creating
estado Região da AWS
por pessoa Conta da AWS. AWS O PCS retornará um erro se já houver um cluster em um Creating
estado quando você tentar criar um cluster.
Próximas etapas recomendadas para seu cluster