As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configure e crie um cluster com a interface de linha de AWS ParallelCluster comando
Depois de instalar AWS ParallelCluster, conclua as etapas de configuração a seguir.
Verifique se sua AWS conta tem uma função que inclui as permissões necessárias para executar pcluster CLI o. Para obter mais informações, consulte AWS ParallelCluster exemplo de políticas pcluster de usuário.
Configure suas AWS credenciais. Para obter mais informações, consulte Configurar a AWS CLI no Guia do usuário da AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
O Região da AWS local em que o cluster é lançado deve ter pelo menos um par de EC2 chaves da Amazon. Para obter mais informações, consulte os pares de chaves do Amazon Elastic Compute Cloud no Guia do usuário do Amazon Elastic Compute Cloud para instâncias Linux.
Ao usar a interface de linha de AWS ParallelCluster comando (CLI), você paga somente pelos AWS recursos criados ao criar ou atualizar AWS ParallelCluster imagens e clusters. Para obter mais informações, consulte AWS serviços usados por AWS ParallelCluster.
Criar e configurar seu primeiro cluster
Crie seu primeiro cluster usando o pcluster configure CLI comando para iniciar um assistente que solicita todas as informações necessárias para configurar e criar seu cluster. Os detalhes da sequência diferem quando usada AWS Batch como agendador em comparação com o uso Slurm.
- Slurm
-
$ pcluster configure --config config-file.yaml
Na lista de Região da AWS identificadores válidos, escolha Região da AWS onde você deseja que seu cluster seja executado.
A lista Regiões da AWS exibida é baseada na partição da sua conta e inclui apenas as Regiões da AWS que estão habilitadas para sua conta. Para obter mais informações sobre como habilitar Regiões da AWS sua conta, consulte Gerenciando Regiões da AWS no Referência geral da AWS. O exemplo mostrado é da partição AWS global. Se sua conta estiver na AWS GovCloud (US) partição, somente Regiões da AWS nessa partição serão listadas (gov-us-east-1egov-us-west-1). Da mesma forma, se sua conta estiver na partição AWS da China, somente cn-north-1 e cn-northwest-1 serão mostradas. Para obter a lista completa dos Regiões da AWS produtos suportados por AWS ParallelCluster, consulteRegiões suportadas para AWS ParallelCluster.
Allowed values for Região da AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Região da AWS ID [ap-northeast-1]:
O par de chaves é selecionado a partir dos pares de chaves que estão registrados no Amazon Elastic Compute Cloud no selecionado Região da AWS. Escolha o par de chaves:
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Escolha o programador a ser usado com seu cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Escolha o sistema operacional.
Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:
Escolha o tipo de instância do nó principal:
Head node instance type [t2.micro]:
Escolha a configuração da fila. Observação: o tipo de instância não pode ser especificado para vários recursos de computação na mesma fila.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permita EFA a execução de aplicativos que exigem altos níveis de comunicação entre instâncias em grande escala AWS , sem custo adicional:
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Depois que as etapas anteriores forem concluídas, decida se deseja usar uma existente VPC ou deixar AWS ParallelCluster criar uma VPC para você. Se você não tiver um configurado corretamenteVPC, AWS ParallelCluster pode criar um novo para você. Ela coloca os nós principais e de computação na mesma sub-rede pública ou somente o nó principal em uma sub-rede pública com todos os nós de computação em uma sub-rede privada. Se você permitir AWS ParallelCluster criar umVPC, deverá decidir se todos os nós devem estar em uma sub-rede pública. Para obter mais informações, consulte Configurações de rede.
Se você configurar seu cluster para usar tipos de instância que tenham várias interfaces de rede ou uma placa de rede, consulte Configurações de rede para obter mais requisitos de rede.
É possível atingir sua cota para o número VPCs permitido em um Região da AWS. A cota padrão é cinco VPCs para a. Região da AWS Para obter mais informações sobre essa cota e como solicitar um aumento, consulte VPCe sub-redes no Guia do usuário da Amazon VPC.
VPCscriado por AWS ParallelCluster não habilitar registros VPC de fluxo por padrão. VPCOs registros de fluxo permitem que você capture informações sobre o tráfego IP que entra e sai das interfaces de rede em seuVPCs. Para obter mais informações, consulte Logs de VPC fluxo no Guia VPC do usuário da Amazon.
Se você deixar AWS ParallelCluster criar umVPC, certifique-se de decidir se todos os nós devem estar em uma sub-rede pública.
Se você escolher1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
cria um NAT gateway que resulta em custo adicional, mesmo se você especificar recursos de nível gratuito.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Se você não criar um novoVPC, deverá selecionar um existenteVPC.
Se você optar por AWS ParallelCluster criar oVPC, anote o VPC ID para poder usá-lo AWS CLI para excluí-lo posteriormente.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Depois de VPC selecionar, decida se deseja usar sub-redes existentes ou criar novas.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config config-file.yaml
Na lista de Região da AWS identificadores válidos, escolha Região da AWS onde você deseja que seu cluster seja executado.
A lista Regiões da AWS exibida é baseada na partição da sua conta. Inclui apenas os Regiões da AWS que estão habilitados para sua conta. Para obter mais informações sobre como habilitar Regiões da AWS sua conta, consulte Gerenciando Regiões da AWS no Referência geral da AWS. O exemplo mostrado é da partição AWS global. Se sua conta estiver na AWS GovCloud (US) partição, somente Regiões da AWS nessa partição serão listadas (gov-us-east-1egov-us-west-1). Da mesma forma, se sua conta estiver na partição AWS da China, somente cn-north-1 e cn-northwest-1 serão mostradas. Para obter a lista completa dos Regiões da AWS produtos suportados por AWS ParallelCluster, consulteRegiões suportadas para AWS ParallelCluster.
Allowed values for Região da AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Região da AWS ID [us-east-1]:
O par de chaves é selecionado entre os pares de chaves registrados EC2 na Amazon no selecionado Região da AWS. Escolha o par de chaves:
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Escolha o programador a ser usado com seu cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Quando awsbatch é selecionado como o programador, alinux2 é usado como o sistema operacional. O tipo de instância do nó principal é inserido.
Head node instance type [t2.micro]:
Escolha a configuração da fila. O AWS Batch agendador contém apenas uma única fila. O tamanho máximo do cluster de nós de computação é inserido. Isso é medido emvCPUs.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Decida se quer usar o existente VPCs ou deixar AWS ParallelCluster criar VPCs para você. Se você não tiver um configurado corretamenteVPC, AWS ParallelCluster pode criar um novo. Ela usa os nós principais e de computação na mesma sub-rede pública ou somente o nó principal em uma sub-rede pública com todos os nós em uma sub-rede privada. É possível atingir sua cota no número VPCs permitido em uma região. O número padrão de VPCs é cinco. Para obter mais informações sobre essa cota e como solicitar um aumento, consulte VPCe sub-redes no Guia do usuário da Amazon VPC.
VPCscriado por AWS ParallelCluster não habilitar registros VPC de fluxo por padrão. VPCOs registros de fluxo permitem que você capture informações sobre o tráfego IP que entra e sai das interfaces de rede em seuVPCs. Para obter mais informações, consulte Logs de VPC fluxo no Guia VPC do usuário da Amazon.
Se você deixar AWS ParallelCluster criar umVPC, certifique-se de decidir se todos os nós devem estar em uma sub-rede pública.
Se você escolher1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
cria um NAT gateway que resulta em custo adicional, mesmo se você especificar recursos de nível gratuito.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Se você não criar um novoVPC, deverá selecionar um existenteVPC.
Se você optar por AWS ParallelCluster criar oVPC, anote o VPC ID para poder usá-lo AWS CLI ou AWS Management Console excluí-lo posteriormente.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Depois de selecionar VPC a, certifique-se de decidir se deseja usar sub-redes existentes ou criar novas.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Depois de concluir as etapas anteriores, um cluster simples é iniciado em umVPC. O VPC usa uma sub-rede existente que oferece suporte a endereços IP públicos. A tabela de rotas para a sub-rede é 0.0.0.0/0 => igw-xxxxxx. Atenção às condições a seguir:
-
O VPC indispensável DNS Resolution = yes DNS Hostnames = yes e.
-
Eles também VPC devem ter DHCP opções com a correta domain-name para Região da AWS o. O conjunto de DHCP opções padrão já especifica o necessário AmazonProvidedDNS. Se especificar mais de um servidor de nomes de domínio, consulte os conjuntos DHCP de opções no Guia do VPC usuário da Amazon. Ao usar sub-redes privadas, use um NAT gateway ou um proxy interno para permitir o acesso à web para nós de computação. Para obter mais informações, consulte Configurações de rede.
Quando todas as configurações tiverem valores válidos, você poderá inicializar o cluster executando o comando de criação.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Acompanhe o progresso do cluster:
$ pcluster describe-cluster --cluster-name test-cluster
ou
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Depois que o cluster atingir o "clusterStatus": "CREATE_COMPLETE" status, você poderá se conectar a ele usando as configurações normais SSH do cliente. Para obter mais informações sobre a conexão com EC2 instâncias da Amazon, consulte o Guia EC2 do usuário da Amazon no Guia EC2 do usuário da Amazon. Ou você pode conectar o cluster por meio de
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Para excluir o cluster, execute o comando a seguir.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Depois que o cluster for excluído, você poderá excluir os recursos de rede no VPC excluindo a pilha CloudFormation de rede. O nome da pilha começa com “parallelclusternetworking-” e contém a hora de criação no formato "”. YYYYMMDDHHMMSS Você pode listar as pilhas usando o comando list-stacks.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
A pilha pode ser excluída usando o comando delete-stack.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
O VPC que pcluster configure cria para você não é criado na pilha CloudFormation de rede. Você pode excluí-lo VPC manualmente no console ou usando AWS CLI o.
$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
