Criação de um cluster com AWS CloudFormation

1. Faça login no AWS Management Console.

2. Abra o link CloudFormation de criação rápida para criar os seguintes recursos no CloudFormation console:

   • Uma CloudFormation pilha aninhada com uma VPC com uma sub-rede pública e privada para executar o nó principal do cluster e os nós de computação, respectivamente.

   • Uma CloudFormation pilha aninhada com um recurso AWS ParallelCluster personalizado para gerenciar o cluster.

   • Uma CloudFormation pilha aninhada com as políticas padrão para gerenciar o cluster.

   • Uma CloudFormation pilha raiz para as pilhas aninhadas.

   • Um AWS ParallelCluster cluster com o Slurm agendador e um número definido de nós de computação.

   

3. Na seção Parâmetros de pilha de criação rápida, insira valores para os seguintes parâmetros:

   1. Para KeyName, insira o nome do seu par de EC2 chaves da Amazon.

   2. Para AvailabilityZone, escolha uma AZ para seus nós de cluster, por exemplo,us-east-1a.

4. Na parte inferior da página, marque as caixas de seleção que reconhecem cada um dos recursos de acesso.

5. Selecione Criar pilha.

6. Aguarde até que a CloudFormation pilha alcance o CREATE_COMPLETE estado.

1. Crie um CloudFormation modelo chamado cluster_template.yaml com o seguinte conteúdo:

   AWSTemplateFormatVersion: '2010-09-09'
   Description: > AWS ParallelCluster CloudFormation Template
   
   Parameters:
     KeyName:
       Description: KeyPair to login to the head node
       Type: AWS::EC2::KeyPair::KeyName
   
     AvailabilityZone:
       Description: Availability zone where instances will be launched
       Type: AWS::EC2::AvailabilityZone::Name
       Default: us-east-2a
   
   Mappings:
     ParallelCluster:
       Constants:
         Version: 3.7.0
   
   Resources:
     PclusterClusterProvider:
       Type: AWS::CloudFormation::Stack
       Properties:
         TemplateURL: !Sub
           - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/custom_resource/cluster.yaml
           - { Version: !FindInMap [ParallelCluster, Constants, Version] }
   
     PclusterVpc:
       Type: AWS::CloudFormation::Stack
       Properties:
         Parameters:
           PublicCIDR: 10.0.0.0/24
           PrivateCIDR: 10.0.16.0/20
           AvailabilityZone: !Ref AvailabilityZone
         TemplateURL: !Sub
           - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/networking/public-private-${Version}.cfn.json
           - { Version: !FindInMap [ParallelCluster, Constants, Version ] }
   
     PclusterCluster:
       Type: Custom::PclusterCluster
       Properties:
         ServiceToken: !GetAtt [ PclusterClusterProvider , Outputs.ServiceToken ]
         ClusterName: !Sub 'c-${AWS::StackName}'
         ClusterConfiguration:
           Image:
             Os: alinux2
           HeadNode:
             InstanceType: t2.medium
             Networking:
               SubnetId: !GetAtt [ PclusterVpc , Outputs.PublicSubnetId ]
             Ssh:
               KeyName: !Ref KeyName
           Scheduling:
             Scheduler: slurm
             SlurmQueues:
             - Name: queue0
               ComputeResources:
               - Name: queue0-cr0
                 InstanceType: t2.micro
               Networking:
                 SubnetIds:
                 -  !GetAtt [ PclusterVpc , Outputs.PrivateSubnetId ]
   Outputs:
     HeadNodeIp:
       Description: The Public IP address of the HeadNode
       Value: !GetAtt [ PclusterCluster, headNode.publicIpAddress ]

2. Execute o seguinte comando da AWS CLI para implantar a CloudFormation pilha para criação e gerenciamento de clusters.

   $ aws cloudformation deploy --template-file ./cluster_template.yaml \
     --stack-name mycluster \
     --parameter-overrides KeyName=keypair \
                           AvailabilityZone=us-east-2b \
     --capabilities CAPABILITY_NAMED_IAM CAPABILITY_AUTO_EXPAND

1. Navegue até o CloudFormation console e selecione a pilha que inclui seu recurso AWS ParallelCluster personalizado.

2. Escolha Detalhes da pilha e selecione a guia Saídas.

   

   As mensagens de validação poderão estar truncadas. Para obter mais informações sobre recuperação de logs, consulte AWS ParallelCluster solução de problemas.

ssh no nó principal do cluster

1. Depois que a implantação da CloudFormation pilha for concluída, obtenha o endereço IP do nó principal com o seguinte comando:

   $ HEAD_NODE_IP=$(aws cloudformation describe-stacks --stack-name=mycluster --query "Stacks|[0].Outputs[?OutputKey=='HeadNodeIp']|[0].OutputValue" --output=text)

   Você também pode recuperar o endereço IP do nó principal a partir do HeadNodeIpparâmetro na guia Saídas da pilha de clusters no console. CloudFormation

   Você pode encontrar o endereço IP do nó principal aqui porque ele foi adicionado na Outputs seção do CloudFormation modelo de cluster, especificamente para este exemplo de cluster.

2. Conecte-se ao nó principal do cluster executando o comando a seguir:

   $ ssh -i keyname.pem ec2-user@$HEAD_NODE_IP

1. Execute o seguinte comando da AWS CLI para excluir a CloudFormation pilha e o cluster.

   $ aws cloudformation delete-stack --stack-name=mycluster

2. Verifique o status de exclusão da pilha executando o seguinte comando.

   $ aws cloudformation describe-stacks --stack-name=mycluster