As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Comece a usar o serviço de computação AWS paralela Este é um tutorial para criar um cluster simples que você pode usar para testar o AWS PCS. A figura a seguir mostra o design do cluster. ![\[Um diagrama de arquitetura do cluster do tutorial: os dois grupos de nós de computação são recursos em você Conta da AWS e se conectam ao controlador de cluster Slurm que é executado em um serviço de propriedade. Conta da AWS As EC2 instâncias em ambos os grupos de nós de computação se conectam ao armazenamento compartilhado no Amazon EFS e no Amazon FSx for Lustre.\]](http://docs.aws.amazon.com/pt_br/pcs/latest/userguide/images/aws-pcs-tutorial-environment-diagram.png) O tutorial de design de cluster tem os seguintes componentes principais: + [Uma VPC e sub-redes que atendem aos requisitos AWS de rede do PCS.](working-with_networking_vpc-requirements.md) + Um sistema de arquivos Amazon EFS, que será usado como um diretório inicial compartilhado. + Um sistema de arquivos Amazon FSx for Lustre, que fornece um diretório compartilhado de alto desempenho. + Um cluster AWS PCS, que fornece um controlador Slurm. + 2 grupos de nós de computação AWS PCS. + O grupo de `login` nós, que fornece acesso interativo baseado em shell ao sistema. + O grupo de `compute-1` nós fornece instâncias com escalabilidade elástica para executar trabalhos. + 1 fila que envia trabalhos para EC2 instâncias no grupo de `compute-1` nós. O cluster exige AWS recursos adicionais, como grupos de segurança, funções do IAM e modelos de EC2 execução, que não são mostrados no diagrama. **nota** Recomendamos que você conclua as etapas da linha de comando neste tópico em um shell do Bash. Se não estiver utilizando um shell Bash, alguns comandos de script, como caracteres de continuação de linha e a forma como as variáveis são definidas e utilizadas, exigirão o ajuste do seu shell. Além disso, as regras de citação e de escape do seu shell podem ser diferentes. Para obter mais informações, consulte [Aspas e literais com cadeias de caracteres no Guia do AWS CLIAWS Command Line Interface](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-quoting-strings.html) *usuário da versão 2*. **Topics** + [Pré-requisitos para começar a usar o PCS AWS](getting-started_prerequisites.md) + [Usando AWS CloudFormation com o tutorial AWS PCS](getting-started_cfn-note.md) + [Crie uma VPC e sub-redes para PCS AWS](getting-started_create-vpc.md) + [Crie grupos de segurança para AWS PCS](getting-started_create-sg.md) + [Crie um cluster no AWS PCS](getting-started_create-cluster.md) + [Crie armazenamento compartilhado para AWS PCS no Amazon Elastic File System](getting-started_create-efs.md) + [Crie armazenamento compartilhado para AWS PCS no Amazon FSx for Lustre](getting-started_create-fsx.md) + [Crie grupos de nós de computação no AWS PCS](getting-started_create-cng.md) + [Crie uma fila para gerenciar trabalhos no AWS PCS](getting-started_create-queue.md) + [Conecte-se ao seu cluster AWS PCS](getting-started_connect.md) + [Explore o ambiente de cluster no AWS PCS](getting-started_explore.md) + [Execute uma tarefa de nó único no AWS PCS](getting-started_run-job.md) + [Execute uma tarefa MPI de vários nós com o Slurm no PCS AWS](getting-started_run-mpi-job.md) + [Exclua seus AWS recursos para AWS PCS](getting-started_delete.md) # Pré-requisitos para começar a usar o PCS AWS Consulte os tópicos a seguir para preparar seu ambiente Conta da AWS de desenvolvimento local para o AWS PCS. **Topics** + [Inscreva-se AWS e crie um usuário administrativo](setting-up.md) + [Instale o AWS CLI para AWS PCS](setting-up_cli.md) + [Permissões do IAM necessárias para AWS PCS](required-iam-permissions.md) # Inscreva-se AWS e crie um usuário administrativo Conclua as tarefas a seguir para configurar o Serviço de Computação AWS Paralela (AWS PCS). **Topics** + [Inscreva-se para um Conta da AWS](#sign-up-for-aws) + [Criar um usuário com acesso administrativo](#create-an-admin) ## Inscreva-se para um Conta da AWS Se você não tiver um Conta da AWS, conclua as etapas a seguir para criar um. **Para se inscrever em um Conta da AWS** 1. Abra a [https://portal.aws.amazon.com/billing/inscrição.](https://portal.aws.amazon.com/billing/signup) 1. Siga as instruções online. Parte do procedimento de inscrição envolve receber uma chamada telefônica ou uma mensagem de texto e inserir um código de verificação pelo teclado do telefone. Quando você se inscreve em um Conta da AWS, um *Usuário raiz da conta da AWS*é criado. O usuário-raiz tem acesso a todos os Serviços da AWS e recursos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar [tarefas que exigem acesso de usuário-raiz](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_root-user.html#root-user-tasks). AWS envia um e-mail de confirmação após a conclusão do processo de inscrição. A qualquer momento, você pode visualizar a atividade atual da sua conta e gerenciar sua conta acessando [https://aws.amazon.com/e](https://aws.amazon.com/) escolhendo **Minha conta**. ## Criar um usuário com acesso administrativo Depois de se inscrever em um Conta da AWS, proteja seu Usuário raiz da conta da AWS Centro de Identidade do AWS IAM, habilite e crie um usuário administrativo para que você não use o usuário root nas tarefas diárias. **Proteja seu Usuário raiz da conta da AWS** 1. Faça login [Console de gerenciamento da AWS](https://console.aws.amazon.com/)como proprietário da conta escolhendo **Usuário raiz** e inserindo seu endereço de Conta da AWS e-mail. Na próxima página, insira a senha. Para obter ajuda ao fazer login usando o usuário-raiz, consulte [Fazer login como usuário-raiz](https://docs.aws.amazon.com/signin/latest/userguide/console-sign-in-tutorials.html#introduction-to-root-user-sign-in-tutorial) no *Guia do usuário do Início de Sessão da AWS *. 1. Habilite a autenticação multifator (MFA) para o usuário-raiz. Para obter instruções, consulte [Habilitar um dispositivo de MFA virtual para seu usuário Conta da AWS raiz (console) no Guia](https://docs.aws.amazon.com/IAM/latest/UserGuide/enable-virt-mfa-for-root.html) do *usuário do IAM*. **Criar um usuário com acesso administrativo** 1. Habilita o Centro de Identidade do IAM. Para obter instruções, consulte [Habilitar o Centro de Identidade do AWS IAM](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-set-up-for-idc.html) no *Guia do usuário do Centro de Identidade do AWS IAM *. 1. No Centro de Identidade do IAM, conceda o acesso administrativo a um usuário. Para ver um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como fonte de identidade, consulte [Configurar o acesso do usuário com o padrão Diretório do Centro de Identidade do IAM](https://docs.aws.amazon.com//singlesignon/latest/userguide/quick-start-default-idc.html) no *Guia Centro de Identidade do AWS IAM do usuário*. **Iniciar sessão como o usuário com acesso administrativo** + Para fazer login com o seu usuário do Centro de Identidade do IAM, use o URL de login enviado ao seu endereço de e-mail quando o usuário do Centro de Identidade do IAM foi criado. Para obter ajuda para fazer login usando um usuário do IAM Identity Center, consulte Como [fazer login no portal de AWS acesso](https://docs.aws.amazon.com/signin/latest/userguide/iam-id-center-sign-in-tutorial.html) no *Guia Início de Sessão da AWS do usuário*. **Atribuir acesso a usuários adicionais** 1. No Centro de Identidade do IAM, crie um conjunto de permissões que siga as práticas recomendadas de aplicação de permissões com privilégio mínimo. Para obter instruções, consulte [Criar um conjunto de permissões](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-started-create-a-permission-set.html) no *Guia do usuário do Centro de Identidade do AWS IAM *. 1. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo. Para obter instruções, consulte [Adicionar grupos](https://docs.aws.amazon.com//singlesignon/latest/userguide/addgroups.html) no *Guia do usuário do Centro de Identidade do AWS IAM *. # Instale o AWS CLI para AWS PCS Você deve usar a versão mais recente do AWS CLI. Para obter informações, consulte [Instalar ou atualizar para a versão mais recente do AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) no *Guia AWS Command Line Interface do Usuário da Versão 2*. Você deve configurar AWS CLI o. Para obter mais informações, consulte [Configurar o AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html) no *Guia AWS Command Line Interface do usuário para a versão 2*. Digite o seguinte comando em um prompt de comando para verificar seu AWS CLI; ele deve exibir informações de ajuda. ``` aws pcs help ``` # Permissões do IAM necessárias para AWS PCS O diretor de segurança do IAM que você está usando deve ter permissões para trabalhar com funções do IAM do AWS PCS, funções vinculadas ao serviço AWS CloudFormation, uma VPC e recursos relacionados. Para obter mais informações[Identity and Access Management for AWS Parallel Computing Service](security-iam.md), consulte e [Criar uma função vinculada ao serviço no Guia](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create-service-linked-role.html) do *AWS Identity and Access Management usuário*. Você deve concluir todas as etapas deste manual como o mesmo usuário. Execute o seguinte comando para verificar o usuário atual: ``` aws sts get-caller-identity ``` # Usando AWS CloudFormation com o tutorial AWS PCS O tutorial do AWS PCS tem várias etapas e tem como objetivo ajudá-lo a entender as partes de um cluster AWS PCS e os procedimentos necessários para criá-lo. Recomendamos que você siga as etapas do tutorial pelo menos uma vez. Depois de ter uma boa compreensão do que está envolvido, você pode usar AWS CloudFormation para criar rapidamente o cluster de amostra com automação. CloudFormation é um AWS serviço que permite criar e provisionar implantações de AWS infraestrutura de forma previsível e repetida. Você pode usar um CloudFormation modelo para provisionar automaticamente os AWS recursos para o cluster de amostra como uma única unidade, chamada de **pilha**. Você pode excluir a pilha quando terminar de usá-la. Para obter mais informações, consulte [Comece a usar um CloudFormation AWS PCS](get-started-cfn.md). # Crie uma VPC e sub-redes para PCS AWS Você pode criar uma VPC e sub-redes com um modelo. CloudFormation Use o URL a seguir para baixar o CloudFormation modelo e, em seguida, faça o upload do modelo no [CloudFormation console](https://console.aws.amazon.com/cloudformation/home#/stacks/create) para criar uma nova CloudFormation pilha. Para obter mais informações, consulte [Usando o CloudFormation console](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html) no *Guia AWS CloudFormation do usuário*. ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/net/hpc_large_scale/assets/main.yaml ``` Com o modelo aberto no CloudFormation console, insira as seguintes opções. Você pode usar os valores padrão fornecidos no modelo. + Em **Forneça um nome de pilha:** + Em **Nome da pilha**, digite: ``` hpc-networking ``` + Em **Parâmetros**: + Em **VPC:** + Em **CidrBlock**, insira: ``` 10.3.0.0/16 ``` + Em **Sub-redes A**: + Em **CidrPublicSubnetA**, digite: ``` 10.3.0.0/20 ``` + Em **CidrPrivateSubnetA**, digite: ``` 10.3.128.0/20 ``` + Em **Sub-redes B**: + Em **CidrPublicSubnetB**, insira: ``` 10.3.16.0/20 ``` + Em **CidrPrivateSubnetB**, insira: ``` 10.3.144.0/20 ``` + Em **Sub-redes C**: + Para **ProvisionSubnetsC**, selecione **True** + Em **CidrPublicSubnetC**, insira: ``` 10.3.32.0/20 ``` + Em **CidrPrivateSubnetC**, insira: ``` 10.3.160.0/20 ``` + Em **Capacidades**: + Marque a caixa **“Eu reconheço que isso AWS CloudFormation pode criar recursos do IAM**”. Monitore o status da CloudFormation pilha. Quando chegar`CREATE_COMPLETE`, encontre o ID do grupo de segurança padrão na nova VPC. Você usa o ID posteriormente no tutorial. ## Encontre o grupo de segurança padrão para o cluster VPC Para encontrar o ID do grupo de segurança padrão na nova VPC, siga este procedimento: + Navegue até o [console da Amazon VPC](https://console.aws.amazon.com/vpc). + No **painel da VPC**, selecione **Filtrar por VPC**. + Escolha a VPC com a qual o nome começa. `hpc-networking` + Em **Segurança**, escolha **Grupos de segurança**. + Encontre o **ID do grupo de segurança** para o grupo chamado`default`. Tem a descrição`default VPC security group`. Posteriormente, você usa o ID para configurar os modelos de execução do EC2. # Crie grupos de segurança para AWS PCS AWS O PCS depende de grupos de segurança para gerenciar o tráfego de rede que entra e sai de um cluster e seus grupos de nós de computação. Para obter informações detalhadas sobre esse tópico, consulte[Requisitos e considerações do grupo de segurança](working-with_networking_sg.md#working-with_networking_sg-requirements). Nesta etapa, você usará um CloudFormation modelo para criar dois grupos de segurança. + Um grupo de segurança de cluster, que permite a comunicação entre o controlador AWS PCS, os nós de computação e os nós de login. + Um grupo de segurança SSH de entrada, que você pode adicionar opcionalmente aos seus nós de login para oferecer suporte ao acesso SSH ## Crie os grupos de segurança para AWS PCS Você pode usar um CloudFormation modelo para criar os grupos de segurança. Use o URL a seguir para baixar o CloudFormation modelo e, em seguida, faça o upload do modelo no [CloudFormation console](https://console.aws.amazon.com/cloudformation/home#/stacks/create) para criar uma nova CloudFormation pilha. Para obter mais informações, consulte [Usando o CloudFormation console](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html) no *Guia AWS CloudFormation do usuário*. ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/pcs/getting_started/assets/pcs-cluster-sg.yaml ``` Com o modelo aberto no AWS CloudFormation console, insira as seguintes opções. Observe que algumas opções serão pré-preenchidas no modelo — você pode simplesmente deixá-las como valores padrão. + Em **Forneça um nome de pilha** + Em **Nome da pilha**, digite: ``` getstarted-sg ``` + Em **Parâmetros** + Em **VpcId**, escolha a VPC com a qual o nome começa. `hpc-networking` + (Opcional) Em **ClientIpCidr**, insira um intervalo de IP mais restritivo para o grupo de segurança SSH de entrada. Recomendamos que você restrinja isso com seu próprio IP/sub-rede (x.x.x.x/32 para seu próprio ip ou x.x.x.x/24 para intervalo. Substitua x.x.x.x pelo seu próprio IP PÚBLICO. Você pode obter seu IP público usando ferramentas como [https://ifconfig.co/](https://ifconfig.co/)) Monitore o status da CloudFormation pilha. Quando chega ao grupo `CREATE_COMPLETE` de segurança, os recursos estão prontos. Há dois grupos de segurança criados, com os nomes: + `cluster-getstarted-sg`— este é o grupo de segurança do cluster + `inbound-ssh-getstarted-sg`— este é um grupo de segurança para permitir acesso SSH de entrada # Crie um cluster no AWS PCS No AWS PCS, um cluster é um recurso persistente para gerenciar recursos e executar cargas de trabalho. Você cria um cluster para um agendador específico (o AWS PCS atualmente oferece suporte ao Slurm) em uma sub-rede de uma VPC nova ou existente. O cluster aceita e agenda trabalhos e também inicia os nós de computação (EC2 instâncias) que processam esses trabalhos. **Para criar um cluster** 1. Abra o [console AWS PCS](https://console.aws.amazon.com/pcs/home#/clusters) e escolha **Criar cluster**. 1. Na seção **Detalhes do cluster**, insira os seguintes campos: + **Nome do cluster** — Enter `get-started` + **Scheduler** — Selecione a versão 25.05 do **Slurm** + **Tamanho do controlador** — Selecione **Pequeno** 1. Na seção **Rede**, selecione valores para os seguintes campos: + **VPC** — Escolha a VPC chamada `hpc-networking:Large-Scale-HPC` + **Sub-rede** — Selecione a sub-rede em que o nome começa com `hpc-networking:PrivateSubnetA` + **Grupos de segurança** — Selecione o grupo de segurança do cluster chamado `cluster-getstarted-sg` 1. Selecione **Criar cluster**. **nota** O campo **Status** mostra **Como criar** enquanto o cluster está sendo provisionado. A criação do cluster pode levar vários minutos. # Crie armazenamento compartilhado para AWS PCS no Amazon Elastic File System O Amazon Elastic File System (Amazon EFS) é um AWS serviço que fornece armazenamento de arquivos totalmente elástico e sem servidor para que você possa compartilhar dados de arquivos sem provisionar ou gerenciar a capacidade e o desempenho do armazenamento. Para obter mais informações, consulte [What is Amazon Elastic File System?](https://docs.aws.amazon.com/efs/latest/ug/whatisefs.html) no *Guia do usuário do Amazon Elastic File System*. O cluster de demonstração do AWS PCS usa um sistema de arquivos EFS para fornecer um diretório inicial compartilhado entre os nós do cluster. Crie um sistema de arquivos EFS na mesma VPC do seu cluster. **Como criar seu sistema de arquivos do Amazon EFS** 1. Acesse o [console do Amazon EFS](https://console.aws.amazon.com/efs). 1. Certifique-se de que esteja configurado da mesma forma Região da AWS em que você experimentará o AWS PCS. 1. Escolha **Create file system (Criar sistema de arquivos)**. 1. Na página **Criar sistema de arquivos**, defina os seguintes parâmetros: + Em **Nome**, insira `getstarted-efs`. + Em **Virtual Private Cloud (VPC), escolha a VPC** chamada `hpc-networking:Large-Scale-HPC` + Escolha **Criar**. Isso o levará de volta à página **Sistemas de arquivos**. 1. Anote a **ID do sistema de arquivos** do sistema de `getstarted-efs` arquivos. Você usa essas informações posteriormente. # Crie armazenamento compartilhado para AWS PCS no Amazon FSx for Lustre O Amazon FSx for Lustre torna fácil e econômico lançar e executar o popular sistema de arquivos Lustre de alto desempenho. É possível usar o Lustre para workloads em que a velocidade é importante, como machine learning, computação de alta performance (HPC), processamento de vídeo e modelagem financeira. Para obter mais informações, consulte [O que é o Amazon FSx for Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/what-is.html)? no *Guia do usuário do Amazon FSx for Lustre*. O cluster de demonstração do AWS PCS pode usar um FSx sistema de arquivos for Lustre para fornecer um diretório compartilhado de alto desempenho entre os nós do cluster. Crie um sistema de arquivos FSx for Lustre na mesma VPC do seu cluster. **Para criar seu sistema de arquivos FSx for Lustre** 1. Acesse o [ FSx console da Amazon](https://console.aws.amazon.com/fsx). 1. Verifique se o console está configurado para usar o Região da AWS mesmo que seu cluster. 1. Escolha **Create file system (Criar sistema de arquivos)**. + Em **Selecionar tipo de sistema de arquivos**, escolha **Amazon FSx for Lustre e, em** seguida, escolha **Avançar**. 1. Na página **Especificar detalhes do sistema de arquivos**, defina os seguintes parâmetros: + Em **Detalhes do sistema de arquivos** + Em **Nome**, insira `getstarted-fsx`. + Para o **tipo de implantação e armazenamento**, escolha **Persistente, SSD** + Para **taxa de transferência por unidade de armazenamento**, escolha **125** MB/s/TiB + Em **Capacidade de armazenamento**, insira 1,2 TiB + **Para **Configuração de metadados**, escolha Automático** + Para **Tipo de compactação de dados**, escolha **LZ4** + Em **Rede e segurança** + Para **Virtual Private Cloud (VPC), escolha a VPC** chamada `hpc-networking:Large-Scale-HPC` + Para **grupos de segurança da VPC**, deixe o grupo de segurança chamado `default` + Em **Sub-rede**, escolha a sub-rede em que o nome começa com `hpc-networking:PrivateSubnetA` + Deixe as outras opções definidas com seus valores padrão. + Escolha **Próximo**. 1. Na página **Revisar e criar**, escolha **Criar sistema de arquivos**. Isso o levará de volta à página **Sistemas de arquivos**. 1. Navegue até a página de detalhes do sistema de arquivos FSx for Lustre que você criou. 1. Anote a **ID do sistema de arquivos** e o **nome da montagem**. Você usa essas informações posteriormente. **nota** O campo **Status** mostra **Criando** enquanto o sistema de arquivos está sendo provisionado. A criação do sistema de arquivos pode levar vários minutos. Espere até que ele seja concluído antes de continuar com o restante do tutorial. # Crie grupos de nós de computação no AWS PCS Um grupo de nós de computação é uma coleção virtual de nós de computação (instâncias EC2) que o AWS PCS inicia e gerencia. Ao definir um grupo de nós de computação, você especifica características comuns, como tipos de instância EC2, contagem mínima e máxima de instâncias, sub-redes VPC de destino, opção de compra preferencial e configuração de execução personalizada. AWS O PCS inicia, gerencia e encerra com eficiência os nós de computação em um grupo de nós de computação, de acordo com essas configurações. O cluster de demonstração usa um grupo de nós de computação para fornecer nós de login para acesso do usuário e um grupo de nós de computação separado para processar trabalhos. Os tópicos a seguir descrevem os procedimentos para configurar esses grupos de nós de computação em seu cluster. **Topics** + [Crie um perfil de instância para AWS PCS](getting-started_create-cng_instance-profile.md) + [Crie modelos de lançamento para AWS PCS](getting-started_create-cng_launch-templates.md) + [Crie um grupo de nós de computação para nós de login no AWS PCS](getting-started_create-cng_login-nodes.md) + [Crie um grupo de nós de computação para executar trabalhos de computação no PCS AWS](getting-started_create-cng_workers.md) # Crie um perfil de instância para AWS PCS Os grupos de nós de computação exigem um perfil de instância quando são criados. Se você usar o Console de gerenciamento da AWS para criar uma função para o Amazon EC2, o console criará automaticamente um perfil de instância e dará a ele o mesmo nome da função. Para obter mais informações, consulte [Como usar perfis de instância](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use_switch-role-ec2_instance-profiles.html) no *Guia AWS Identity and Access Management do usuário*. No procedimento a seguir, você usa o Console de gerenciamento da AWS para criar uma função para o Amazon EC2, que também cria o perfil de instância para seus grupos de nós de computação. **Para criar a função e o perfil da instância** + Navegue até o [console do IAM](https://console.aws.amazon.com/iam). + Em **Access management (Gerenciamento de acesso)**, escolha **Policies (Políticas)**. + Selecione **Criar política**. + Em **Especificar permissões**, em **Editor de políticas**, escolha **JSON**. + Substitua o conteúdo do editor de texto pelo seguinte: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Action": [ "pcs:RegisterComputeNodeGroupInstance" ], "Resource": "*", "Effect": "Allow" } ] } ``` ------ + Escolha **Próximo**. + Em **Revisar e criar**, em **Nome da política**, insira`AWSPCS-getstarted-policy`. + Selecione **Criar política**. + Em **Access management** (Gerenciamento de acesso), escolha **Roles** (Funções). + Selecione **Criar perfil**. + Em **Selecionar entidade confiável**: + Para **Tipo de entidade confiável**, selecione **AWS serviço** + Em **Caso de uso**, selecione **EC2**. + Em seguida, em **Escolha um caso de uso** para o serviço especificado, escolha **EC2**. + Escolha **Próximo**. + Em **Adicionar permissões**: + Em **Políticas de permissões**, pesquise por **AWSPCS-getstarted-policy**. + Marque a caixa ao lado **AWSPCS-getstartedde -policy** para adicioná-la à função. + Em **Políticas de permissões**, pesquise por **Amazon SSMManaged InstanceCore**. + Marque a caixa ao lado **da Amazon SSMManaged InstanceCore** para adicioná-la à função. + Escolha **Próximo**. + Em **Nome, revise e crie**: + Em **Detalhes da função**: + Em **Nome do perfil**, insira `AWSPCS-getstarted-role`. + Escolha **Create role** (Criar função). # Crie modelos de lançamento para AWS PCS Ao criar um grupo de nós de computação, você fornece um modelo de execução do EC2 que o AWS PCS usa para configurar as instâncias do EC2 que ele executa. Isso inclui configurações como grupos de segurança e scripts que são executados quando a instância é executada. Nesta etapa, um CloudFormation modelo será usado para criar dois modelos de lançamento do EC2. Um modelo será usado para criar nós de login e o outro será usado para criar nós de computação. A principal diferença entre eles é que os nós de login podem ser configurados para permitir acesso SSH de entrada. ## Acesse o CloudFormation modelo Use o URL a seguir para baixar o CloudFormation modelo e, em seguida, faça o upload do modelo no [CloudFormation console](https://console.aws.amazon.com/cloudformation/home#/stacks/create) para criar uma nova CloudFormation pilha. Para obter mais informações, consulte [Usando o CloudFormation console](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html) no *Guia AWS CloudFormation do usuário*. ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/pcs/getting_started/assets/pcs-lt-efs-fsxl.yaml ``` ## Use o CloudFormation modelo para criar modelos de lançamento do EC2 Use o procedimento a seguir para preencher o CloudFormation modelo no CloudFormation console + Em **Forneça um nome de pilha:** + Em **Nome da pilha**, insira`getstarted-lt`. + Em **Parâmetros**: + Em **Segurança** + Para **VpcSecurityGroupId**, selecione o grupo de segurança nomeado `default` em seu cluster VPC. + Para **ClusterSecurityGroupId**, selecione o grupo chamado `cluster-getstarted-sg` + Para **SshSecurityGroupId**, selecione o grupo chamado `inbound-ssh-getstarted-sg` + Para **SshKeyName**, selecione seu par de chaves SSH preferido. + Em **Sistemas de arquivos** + Para **EfsFilesystemId**, insira a ID do sistema de arquivos EFS que você criou anteriormente no tutorial. + Para **FSxLustreFilesystemId**, insira o ID do sistema de arquivos do FSx Lustre que você criou anteriormente no tutorial. + Para **FSxLustreFilesystemMountName**, insira o nome de montagem para o mesmo FSx sistema de arquivos Lustre. + Escolha **Avançar** e, em seguida, escolha **Avançar** novamente. + Selecione **Enviar**. Monitore o status da CloudFormation pilha. Quando chega, `CREATE_COMPLETE` o modelo de lançamento está pronto para ser usado. **nota** Para ver todos os recursos criados pelo CloudFormation modelo, abra o [CloudFormation console](https://console.aws.amazon.com/cloudformation). Escolha a pilha `getstarted-lt` e depois a guia **Resources** (Recursos). # Crie um grupo de nós de computação para nós de login no AWS PCS Um grupo de nós de computação é uma coleção virtual de nós de computação (instâncias EC2) que o AWS PCS inicia e gerencia. Ao definir um grupo de nós de computação, você especifica características comuns, como tipos de instância EC2, contagem mínima e máxima de instâncias, sub-redes VPC de destino, opção de compra preferencial e configuração de execução personalizada. AWS O PCS inicia, gerencia e encerra com eficiência os nós de computação em um grupo de nós de computação, de acordo com essas configurações. Nesta etapa, você iniciará um grupo de nós de computação estático que fornece acesso interativo ao cluster. Você pode usar o SSH ou o Amazon EC2 Systems Manager (SSM) para fazer login nele, depois executar comandos de shell e gerenciar trabalhos do Slurm. **Para criar o grupo de nós de computação** + Abra o [console AWS PCS](https://console.aws.amazon.com/pcs) e navegue até **Clusters**. + Selecione o cluster chamado `get-started` + Navegue até **grupos de nós de computação** e escolha **Criar**. + Na seção **Configuração do grupo de nós de computação**, forneça o seguinte: + **Nome do grupo de nós de computação** — Enter`login`. + Em **Configuração de computação**, insira ou selecione estes valores: + **Modelo de lançamento do EC2** — Escolha o modelo de lançamento em que o nome está `login-getstarted-lt` + **Perfil da instância do IAM** — Escolha o perfil da instância chamado `AWSPCS-getstarted-role` + **Sub-redes** — Selecione a sub-rede com a qual o nome começa. `hpc-networking:PublicSubnetA` + **Instâncias** — Selecione`c6i.xlarge`. + **Configuração de escalabilidade** — Em **Contagem mínima de instâncias, insira.** `1` Em **Contagem máxima de instâncias, insira`1`.** + Em **Configurações adicionais**, especifique o seguinte: + **ID da AMI** — Selecione uma AMI que você deseja usar, que tenha um nome no seguinte formato: ``` aws-pcs-sample_ami-amzn2-platform-slurm-version ``` Para obter mais informações sobre a amostra AMIs, consulte[Usando amostras de Amazon Machine Images (AMIs) com AWS PCS](working-with_ami_samples.md). + Escolha **Criar grupo de nós de computação**. O campo **Status** mostra **Criando** enquanto o grupo de nós de computação está sendo provisionado. Você pode prosseguir para a próxima etapa do tutorial enquanto ele estiver em andamento. # Crie um grupo de nós de computação para executar trabalhos de computação no PCS AWS Nesta etapa, você iniciará um grupo de nós de computação que se expande elasticamente para executar trabalhos enviados ao cluster. **Para criar o grupo de nós de computação** + Abra o [console AWS PCS](https://console.aws.amazon.com/pcs) e navegue até **Clusters**. + Selecione o cluster chamado `get-started` + Navegue até **grupos de nós de computação** e escolha **Criar**. + Na seção **Configuração do grupo de nós de computação**, forneça o seguinte: + **Nome do grupo de nós de computação** — Enter`compute-1`. + Em **Configuração de computação**, insira ou selecione estes valores: + **Modelo de lançamento do EC2** — Escolha o modelo de lançamento em que o nome está `compute-getstarted-lt` + **Perfil da instância do IAM** — Escolha o perfil da instância chamado `AWSPCS-getstarted-role` + **Sub-redes** — Selecione a sub-rede com a qual o nome começa. `hpc-networking:PrivateSubnetA` + **Instâncias** — Selecione`c6i.xlarge`. + **Configuração de escalabilidade** — Em **Contagem mínima de instâncias, insira.** `0` Em **Contagem máxima de instâncias, insira`4`.** + Em **Configurações adicionais**, especifique o seguinte: + **ID da AMI** — Selecione uma AMI que você deseja usar, que tenha um nome no seguinte formato: ``` aws-pcs-sample_ami-amzn2-platform-slurm-version ``` Para obter mais informações sobre a amostra AMIs, consulte[Usando amostras de Amazon Machine Images (AMIs) com AWS PCS](working-with_ami_samples.md). + Escolha **Criar grupo de nós de computação**. O campo **Status** mostra **Criando** enquanto o grupo de nós de computação está sendo provisionado. **Importante** Aguarde até que o campo **Status** mostre **Ativo** antes de prosseguir para a próxima etapa deste tutorial. # Crie uma fila para gerenciar trabalhos no AWS PCS Você envia um trabalho para uma fila para executá-lo. O trabalho permanece na fila até que o AWS PCS o programe para execução em um grupo de nós de computação. Cada fila está associada a um ou mais grupos de nós de computação, que fornecem as EC2 instâncias necessárias para fazer o processamento. Nesta etapa, você criará uma fila que usa o grupo de nós de computação para processar trabalhos. **Para criar uma fila** + Abra o [console AWS PCS](https://console.aws.amazon.com/pcs). + Selecione o cluster chamado `get-started`. + Navegue até **grupos de nós de computação** e verifique se o status do `compute-1` grupo é **Ativo**. **Importante** O status do `compute-1` grupo deve ser **Ativo** antes de você prosseguir para a próxima etapa. + Navegue até **Filas** e escolha **Criar fila**. + Na seção **Configuração da fila**, forneça os seguintes valores: + **Nome da fila** — Insira o seguinte: `demo` + **Grupos de nós de computação** — Selecione o grupo de nós de computação chamado. `compute-1` + Selecione **Criar fila**. O campo **Status** mostra **Criando** enquanto a fila está sendo criada. **Importante** Aguarde até que o campo **Status** mostre **Ativo** antes de prosseguir para a próxima etapa deste tutorial. # Conecte-se ao seu cluster AWS PCS Depois que o status do grupo de nós de `login` computação se tornar **Ativo**, você poderá se conectar à EC2 instância que ele criou. **Para se conectar ao nó de login** + Abra o [console AWS PCS](https://console.aws.amazon.com/pcs) e navegue até **Clusters**. + Selecione o cluster chamado `get-started`. + Escolha **grupos de nós de computação**. + Navegue até o grupo de nós de computação chamado`login`. + Encontre o **ID do grupo de nós de computação**. + Em outra janela ou guia do navegador, abra o [ EC2 console da Amazon](https://console.aws.amazon.com/ec2). + Selecione **Instances (Instâncias)**. + Pesquise EC2 instâncias com a seguinte tag. *node-group-id*Substitua pelo valor do **ID do grupo de nós de computação** da etapa anterior. Deve haver 1 instância. ``` aws:pcs:compute-node-group-id=node-group-id ``` + Conecte-se à EC2 instância. Você pode usar o Gerenciador de Sessões ou o SSH. ------ #### [ Session Manager ] + Selecione a instância. + Selecione **Conectar**. + Em **Conectar à instância**, selecione **Gerenciador de sessões**. + Selecione **Conectar**. + Selecione **Conectar**. Um terminal interativo é iniciado em seu navegador. ------ #### [ SSH ] + Selecione a instância. + Selecione **Conectar**. + Em **Connect to instance**, selecione **Cliente SSH**. + Siga as instruções fornecidas pelo console. **nota** O nome de usuário da instância **`ec2-user`**não é`root`. ------ # Explore o ambiente de cluster no AWS PCS Depois de fazer login no cluster, você pode executar comandos shell. Por exemplo, você pode alterar usuários, trabalhar com dados em sistemas de arquivos compartilhados e interagir com o Slurm. ## Alterar usuário Se você fez login no cluster usando o Gerenciador de Sessões, você pode estar conectado como`ssm-user`. Esse é um usuário especial criado para o Gerenciador de Sessões. Mude para o usuário padrão no Amazon Linux 2 usando o comando a seguir. Você não precisará fazer isso se estiver conectado usando SSH. ``` sudo su - ec2-user ``` ## Trabalhe com sistemas de arquivos compartilhados Você pode confirmar se o sistema de arquivos EFS e FSx os sistemas de arquivos Lustre estão disponíveis com o comando. `df -h` A saída em seu cluster deve ser semelhante à seguinte: ``` [ec2-user@ip-10-3-6-103 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 3.8G 0 3.8G 0% /dev tmpfs 3.9G 0 3.9G 0% /dev/shm tmpfs 3.9G 556K 3.9G 1% /run tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup /dev/nvme0n1p1 24G 18G 6.6G 73% / 127.0.0.1:/ 8.0E 0 8.0E 0% /home 10.3.132.79@tcp:/zlshxbev 1.2T 7.5M 1.2T 1% /shared tmpfs 780M 0 780M 0% /run/user/0 tmpfs 780M 0 780M 0% /run/user/1000 ``` O `/home` sistema de arquivos monta 127.0.0.1 e tem uma capacidade muito grande. Esse é o sistema de arquivos EFS que você criou anteriormente no tutorial. Todos os arquivos gravados aqui estarão disponíveis `/home` em todos os nós do cluster. O `/shared` sistema de arquivos monta um IP privado e tem uma capacidade de 1,2 TB. Esse é o sistema FSx de arquivos do Lustre que você criou anteriormente no tutorial. Todos os arquivos gravados aqui estarão disponíveis `/shared` em todos os nós do cluster. ## Interaja com o Slurm **Contents** + [Listar filas e nós](#getting-started_explore_slurm_queues) + [Mostrar empregos](#getting-started_explore_slurm_jobs) ### Listar filas e nós Você pode listar as filas e os nós aos quais elas estão associadas ao uso`sinfo`. A saída do seu cluster deve ser semelhante à seguinte: ``` [ec2-user@ip-10-3-6-103 ~]$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST demo up infinite 4 idle~ compute-1-[1-4] [ec2-user@ip-10-3-6-103 ~]$ ``` Observe a partição chamada`demo`. Seu status é `up` e tem no máximo 4 nós. Está associado aos nós do grupo de `compute-1` nós. Se você editar o grupo de nós de computação e aumentar o número máximo de instâncias para 8, o número de nós será lido `8` e a lista de nós será lida`compute-1-[1-8]`. Se você criasse um segundo grupo de nós de computação chamado `test` com 4 nós e o adicionasse à `demo` fila, esses nós também apareceriam na lista de nós. ### Mostrar empregos Você pode listar todos os trabalhos, em qualquer estado, no sistema com`squeue`. A saída do seu cluster deve ser semelhante à seguinte: ``` [ec2-user@ip-10-3-6-103 ~]$ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) ``` Tente executar `squeue` novamente mais tarde, quando você tiver um trabalho do Slurm pendente ou em execução. # Execute uma tarefa de nó único no AWS PCS Para executar um trabalho usando o Slurm, você prepara um script de envio especificando os requisitos do trabalho e o envia para uma fila com o comando. `sbatch` Normalmente, isso é feito em um diretório compartilhado para que os nós de login e computação tenham um espaço comum para acessar arquivos. Conecte-se ao nó de login do seu cluster e execute os comandos a seguir em seu prompt de shell. + Torne-se o usuário padrão. Mude para o diretório compartilhado. ``` sudo su - ec2-user cd /shared ``` + Use os comandos a seguir para criar um exemplo de script de trabalho: ``` cat << EOF > job.sh #!/bin/bash #SBATCH -J single #SBATCH -o single.%j.out #SBATCH -e single.%j.err echo "This is job \${SLURM_JOB_NAME} [\${SLURM_JOB_ID}] running on \${SLURMD_NODENAME}, submitted from \${SLURM_SUBMIT_HOST}" && sleep 60 && echo "Job complete" EOF ``` + Envie o script do trabalho para o agendador do Slurm: ``` sbatch -p demo job.sh ``` + Quando o trabalho for enviado, ele retornará uma ID do trabalho como um número. Use esse ID para verificar o status do trabalho. *job-id*Substitua o comando a seguir pelo número retornado de`sbatch`. ``` squeue --job job-id ``` **Example** ``` squeue --job 1 ``` O `squeue` comando retorna uma saída semelhante à seguinte: ``` JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 1 demo test ec2-user CF 0:47 1 compute-1 ``` + Continue verificando o status da tarefa até que ela atinja o status `R` (em execução). O trabalho é feito quando `squeue` não devolve nada. + Inspecione o conteúdo do `/shared` diretório. ``` ls -alth /shared ``` A saída do comando é semelhante à seguinte: ``` -rw-rw-r- 1 ec2-user ec2-user 107 Mar 19 18:33 single.1.out -rw-rw-r- 1 ec2-user ec2-user 0 Mar 19 18:32 single.1.err -rw-rw-r- 1 ec2-user ec2-user 381 Mar 19 18:29 job.sh ``` Os arquivos `single.1.err` foram nomeados `single.1.out` e gravados por um dos nós de computação do seu cluster. Como o trabalho foi executado em um diretório compartilhado (`/shared`), eles também estão disponíveis em seu nó de login. É por isso que você configurou um sistema de arquivos FSx for Lustre para esse cluster. + Inspecione o conteúdo do `single.1.out` arquivo. ``` cat /shared/single.1.out ``` A saída é semelhante à seguinte: ``` This is job test [1] running on compute-1, submitted from ip-10-3-13-181 Job complete ``` # Execute uma tarefa MPI de vários nós com o Slurm no PCS AWS Essas instruções demonstram o uso do Slurm para executar uma tarefa de interface de passagem de mensagens (MPI) no PCS. AWS Execute os comandos a seguir em um prompt de shell do seu nó de login. + Torne-se o usuário padrão. Mude para seu diretório inicial. ``` sudo su - ec2-user cd ~/ ``` + Crie o código-fonte na linguagem de programação C. ``` cat > hello.c << EOF // * mpi-hello-world - https://www.mpitutorial.com // Released under MIT License // // Copyright (c) 2014 MPI Tutorial. // // Permission is hereby granted, free of charge, to any person obtaining a copy // of this software and associated documentation files (the "Software"), to // deal in the Software without restriction, including without limitation the // rights to use, copy, modify, merge, publish, distribute, sublicense, and/or // sell copies of the Software, and to permit persons to whom the Software is // furnished to do so, subject to the following conditions: // The above copyright notice and this permission notice shall be included in // all copies or substantial portions of the Software. // // THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR // IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, // FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE // AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER // LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING // FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER // DEALINGS IN THE SOFTWARE. #include #include #include int main(int argc, char** argv) { // Initialize the MPI environment. The two arguments to MPI Init are not // currently used by MPI implementations, but are there in case future // implementations might need the arguments. MPI_Init(NULL, NULL); // Get the number of processes int world_size; MPI_Comm_size(MPI_COMM_WORLD, &world_size); // Get the rank of the process int world_rank; MPI_Comm_rank(MPI_COMM_WORLD, &world_rank); // Get the name of the processor char processor_name[MPI_MAX_PROCESSOR_NAME]; int name_len; MPI_Get_processor_name(processor_name, &name_len); // Print off a hello world message printf("Hello world from processor %s, rank %d out of %d processors\n", processor_name, world_rank, world_size); // Finalize the MPI environment. No more MPI calls can be made after this MPI_Finalize(); } EOF ``` + Carregue o módulo openMPI. ``` module load openmpi ``` + Compile o programa C. ``` mpicc -o hello hello.c ``` + Escreva um script de envio de trabalhos no Slurm. ``` cat > hello.sh << EOF #!/bin/bash #SBATCH -J multi #SBATCH -o multi.out #SBATCH -e multi.err #SBATCH --exclusive #SBATCH --nodes=4 #SBATCH --ntasks-per-node=1 srun $HOME/hello EOF ``` + Mude para o diretório compartilhado. ``` cd /shared ``` + Envie o roteiro do trabalho. ``` sbatch -p demo ~/hello.sh ``` + Use `squeue` para monitorar o trabalho até que seja concluído. + Confira o conteúdo de`multi.out`: ``` cat multi.out ``` A saída é semelhante à seguinte. Observe que cada classificação tem seu próprio endereço IP porque foi executada em um nó diferente. ``` Hello world from processor ip-10-3-133-204, rank 0 out of 4 processors Hello world from processor ip-10-3-128-219, rank 2 out of 4 processors Hello world from processor ip-10-3-141-26, rank 3 out of 4 processors Hello world from processor ip-10-3-143-52, rank 1 out of 4 processor ``` # Exclua seus AWS recursos para AWS PCS Depois de concluir os grupos de clusters e nós que você criou para este tutorial, você deve excluir os recursos que você criou. **Importante** Você recebe cobranças de cobrança por todos os recursos em execução no seu Conta da AWS **Para excluir recursos do AWS PCS que você criou para este tutorial** + Abra o [console AWS PCS](https://console.aws.amazon.com/pcs/home#/clusters). + Navegue até o cluster chamado **get-started**. + Navegue até a seção **Filas**. + Selecione a fila chamada **demo**. + Escolha **Excluir**. **Importante** Espere até que a fila seja excluída antes de continuar. + Navegue até a seção **Grupos de nós de computação**. + Selecione o grupo de nós de computação chamado **compute-1**. + Escolha **Excluir**. + Selecione o grupo de nós de computação chamado **login**. + Escolha **Excluir**. **Importante** Espere até que os dois grupos de nós de computação tenham sido excluídos antes de continuar. + **Na página de detalhes do cluster para **começar**, escolha Excluir.** **Importante** Espere até que o cluster seja excluído antes de prosseguir com as etapas subsequentes. **Para excluir outros AWS recursos que você criou para este tutorial** + Abra o [console do IAM](https://console.aws.amazon.com/iam). + Escolha **Perfis**. + Selecione a função chamada **AWSPCS-getstarted-role** e escolha **Excluir**. + Depois que a função for excluída, escolha **Políticas**. + Selecione a política chamada **AWSPCS-getstarted-policy** e escolha **Excluir**. + Abra o [console de CloudFormation](https://console.aws.amazon.com/cloudformation). + Selecione a pilha chamada **getstarted-lt**. + Escolha **Excluir**. **Importante** Aguarde até que a pilha seja excluída antes de continuar. + Abra o [Console do Amazon EFS ](https://console.aws.amazon.com/efs). + Escolha **Sistemas de arquivos**. + Selecione o sistema de arquivos chamado **getstarted-efs**. + Escolha **Excluir**. **Importante** Aguarde até que o sistema de arquivos seja excluído antes de continuar. + Abra o [ FSx console da Amazon](https://console.aws.amazon.com/fsx). + Escolha **Sistemas de arquivos**. + Selecione o sistema de arquivos chamado **getstarted-fsx**. + Escolha **Excluir**. **Importante** Aguarde até que o sistema de arquivos seja excluído antes de continuar. + Abra o [console de CloudFormation](https://console.aws.amazon.com/cloudformation). + Selecione a pilha chamada **getstarted-sg**. + Escolha **Excluir**. + Abra o [console de CloudFormation](https://console.aws.amazon.com/cloudformation). + Selecione a pilha chamada **hpc-networking**. + Escolha **Excluir**.