Serviços da AWS usados pelo AWS ParallelCluster
Os serviços da Amazon Web Services (AWS) a seguir são usados no AWS ParallelCluster.
Tópicos
- Amazon API Gateway
- AWS Batch
- AWS CloudFormation
- Amazon CloudWatch
- Amazon CloudWatch Events
- Amazon CloudWatch Logs
- AWS CodeBuild
- Amazon DynamoDB
- Amazon Elastic Block Store
- Amazon Elastic Compute Cloud
- Amazon Elastic Container Registry
- Amazon EFS
- Amazon FSx para Lustre
- Amazon FSx for NetApp ONTAP
- Amazon FSx para Open ZFS
- AWS Identity and Access Management
- AWS Lambda
- Amazon RDS
- Amazon Route 53
- Amazon Simple Notification Service
- Amazon Simple Storage Service
- Amazon VPC
- Elastic Fabric Adapter
- EC2 Image Builder
- Amazon DCV
Amazon API Gateway
O Amazon API Gateway é um serviço da AWS para criação, publicação, manutenção, monitoramento e proteção de APIs do REST, do HTTP e do WebSocket em qualquer escala.
O AWS ParallelCluster usa o API Gateway para hospedar a API do AWS ParallelCluster.
Para obter mais informações sobre o AWS Batch, consulte https://aws.amazon.com/api-gateway/
AWS Batch
AWS Batch é um serviço AWS gerenciado de agendamento de tarefas. Ele provisiona dinamicamente a quantidade ideal e o tipo de recursos de computação (por exemplo, CPU ou instâncias otimizadas para memória) nos clusters do AWS Batch. Esses recursos são provisionados com base nos requisitos específicos de seus trabalhos em lotes, incluindo os requisitos de volume. Com o AWS Batch, não é necessário instalar e gerenciar o software de computação em lote ou clusters para gerenciar suas tarefas de modo eficaz.
O AWS Batch é usado somente com clusters do AWS Batch.
Para obter mais informações sobre o AWS Batch, consulte https://aws.amazon.com/batch/
AWS CloudFormation
AWS CloudFormation é um serviço de infraestrutura como código que fornece uma linguagem comum para modelar AWS e provisionar recursos de aplicativos de terceiros em seu ambiente de nuvem. É o principal serviço usado pelo AWS ParallelCluster. Cada cluster em AWS ParallelCluster é representado como uma pilha, e todos os recursos exigidos por cada cluster são definidos no modelo AWS CloudFormation do AWS ParallelCluster. Na maioria dos casos, os comandos da CLI do AWS ParallelCluster correspondem diretamente aos comandos de pilha do AWS CloudFormation, como os comandos create, update e delete. As instâncias que são executadas em um cluster fazem chamadas HTTPS para o endpoint do AWS CloudFormation para a Região da AWS na qual o cluster é executado.
Para obter mais informações sobre o AWS CloudFormation, consulte https://aws.amazon.com/cloudformation/
Amazon CloudWatch
O Amazon CloudWatch (CloudWatch) é um serviço de monitoramento e observabilidade que fornece dados e informações úteis. Esses insights podem ser usados para monitorar seus aplicativos, responder a mudanças de desempenho e exceções de serviço e otimizar a utilização de recursos. No AWS ParallelCluster, o CloudWatch é usado como um painel, para monitorar e registrar as etapas de criação de imagens do Docker e a saída dos trabalhos do AWS Batch.
Antes da versão 2.10.0 do AWS ParallelCluster, o CloudWatch era usado somente com clusters do AWS Batch.
Para obter mais informações sobre o CloudWatch, consulte https://aws.amazon.com/cloudwatch/
Amazon CloudWatch Events
O Amazon CloudWatch Events (CloudWatch Events) oferece um fluxo quase em tempo real de eventos do sistema que descrevem as mudanças nos recursos da Amazon Web Services (AWS). Com regras simples que você pode configurar rapidamente, é possível corresponder eventos e roteá-los para um ou mais streams ou funções de destino. No AWS ParallelCluster, o CloudWatch Events é usado para trabalhos AWS Batch.
Para ter mais informações sobre o CloudWatch Events, consulte https://docs.aws.amazon.com//eventbridge/latest/userguide/eb-cwe-now-eb.
Amazon CloudWatch Logs
O Amazon CloudWatch Logs (CloudWatch Logs) é um dos principais recursos do Amazon CloudWatch. Você pode usá-lo para monitorar, armazenar, exibir e pesquisar os arquivos de log de diversos componentes usados pelo AWS ParallelCluster.
Antes da versão 2.6.0 do AWS ParallelCluster, o CloudWatch Logs era usado somente com clusters do AWS Batch.
Para ter mais informações, consulte Integração com Amazon CloudWatch Logs.
AWS CodeBuild
O AWS CodeBuild (CodeBuild) é um serviço de integração contínuo e totalmente gerenciado pelo AWS que compila o código-fonte, executa testes e produz pacotes de software prontos para implantação. No AWS ParallelCluster, o CodeBuild é usado para criar imagens do Docker de maneira automática e transparente no momento da criação do cluster.
O CodeBuild é usado somente com clusters do AWS Batch.
Para obter mais informações sobre o CodeBuild, consulte https://aws.amazon.com/codebuild/
Amazon DynamoDB
O Amazon DynamoDB (DynamoDB) é um serviço de banco de dados NoSQL rápido e flexível. É usado para armazenar o estado mínimo de informações do cluster. O nó principal rastreia as instâncias provisionadas em uma tabela do DynamoDB.
O DynamoDB não é usado com clusters do AWS Batch.
Para obter mais informações sobre o DynamoDB, consulte https://aws.amazon.com/dynamodb/
Amazon Elastic Block Store
O Amazon Elastic Block Store (Amazon EBS) é um serviço de armazenamento em bloco de alto desempenho que oferece armazenamento persistente para volumes compartilhados. Todas as configurações do Amazon EBS podem ser passadas pela configuração. Os volumes do Amazon EBS podem ser inicializados vazios ou a partir de um snapshot existente do Amazon EBS.
Para obter mais informações sobre o Amazon EBS, consulte https://aws.amazon.com/ebs/
Amazon Elastic Compute Cloud
O Amazon Elastic Compute Cloud (Amazon EC2) oferece capacidade de computação para o AWS ParallelCluster. Os nós principais e de computação são instâncias do Amazon EC2. Qualquer tipo de instância que ofereça suporte ao HVM pode ser selecionada. Os nós principais e de computação podem ser tipos de instância diferentes. Além disso, se várias filas forem usadas, alguns ou todos os nós de computação também poderão ser executados como uma instância spot. Os volumes de armazenamento de instâncias encontrados nas instâncias são montados como volumes distribuídos do LVM.
Para ter mais informações sobre o Amazon EC2, consulte https://aws.amazon.com/ec2/
Amazon Elastic Container Registry
O Amazon Elastic Container Registry (Amazon ECR) é um registro de contêiner do Docker totalmente gerenciado que facilita o armazenamento, o gerenciamento e a implantação de imagens de contêiner do Docker. No AWS ParallelCluster, o Amazon ECR armazena as imagens do Docker que são criadas quando os clusters são criados. As imagens do Docker são então usadas pelo AWS Batch para executar os contêineres para os trabalhos enviados.
O Amazon ECR é usado somente com clusters do AWS Batch.
Para obter mais informações, consulte https://aws.amazon.com/ecr/
Amazon EFS
O Amazon Elastic File System (Amazon EFS) é um sistema de arquivos NFS simples, escalável e elástico totalmente gerenciado para uso com serviços e recursos on-premises da Nuvem AWS. O Amazon EFS é usado quando EfsSettings são especificados. O suporte para o Amazon EFS foi adicionado no AWS ParallelCluster versão 2.1.0.
Para obter mais informações sobre o Amazon EFS, consulte https://aws.amazon.com/efs/
Amazon FSx para Lustre
O FSx para Lustre fornece um sistema de arquivos de alto desempenho que usa o sistema de arquivos Lustre de código aberto. FSx para Lustre é usado quando Propriedades do FsxLustreSettings são especificados. O suporte para FSx para Lustre foi adicionado no AWS ParallelCluster versão 2.2.1.
Para obter mais informações sobre o FSx para Lustre, consulte https://aws.amazon.com/fsx/lustre/
Amazon FSx for NetApp ONTAP
O FSx para ONTAP fornece um sistema de armazenamento compartilhado totalmente gerenciado baseado no popular sistema de arquivos ONTAP da NetApp. FSx para ONTAP é usado quando Propriedades do FsxOntapSettings são especificados. O suporte para FSx para ONTAP foi adicionado no AWS ParallelCluster versão 3.2.0.
Para obter mais informações sobre o FSx para ONTAP, consulte https://aws.amazon.com/fsx/netapp-ontap/
Amazon FSx para Open ZFS
O FSx para Open ZFS fornece um sistema de armazenamento compartilhado totalmente gerenciado baseado no popular sistema de arquivos OpenZFS. O FSx para Open ZFS é usado quando Propriedades do FsxOpenZfsSettings são especificados. O suporte para o FSx para Open ZFS foi adicionado no AWS ParallelCluster versão 3.2.0.
Para obter mais informações sobre o FSx para Open ZFS, consulte https://aws.amazon.com/fsx/openzfs/
AWS Identity and Access Management
O AWS Identity and Access Management (IAM) é usado no AWS ParallelCluster para fornecer um perfil do IAM de privilégio mínimo para o Amazon EC2 para a instância específica para cada cluster. As instâncias do AWS ParallelCluster recebem acesso apenas às chamadas de API específicas que são necessárias para implantar e gerenciar o cluster.
Com clusters do AWS Batch, os perfis do IAM também são criados para os componentes que estão envolvidos com o processo de criação da imagem do Docker no momento de criação do cluster. Esses componentes incluem as funções do Lambda que têm permissão para adicionar e excluir imagens do Docker de e para o repositório Amazon ECR. Eles também incluem as funções permitidas para excluir o bucket do Amazon S3 criado para o cluster e o projeto CodeBuild. Também há funções para recursos, instâncias e tarefas do AWS Batch.
Para obter mais informações sobre o IAM, consulte https://aws.amazon.com/iam/
AWS Lambda
O AWS Lambda (Lambda) executa as funções que orquestram a criação da imagem do Docker. O Lambda também gerencia a limpeza de recursos de cluster personalizado, como imagens do Docker armazenadas no repositório do Amazon ECR e no Amazon S3.
Para obter mais informações sobre o Lambda, consulte https://aws.amazon.com/lambda/
Amazon RDS
O Amazon Relational Database Service (Amazon RDS) é um serviço da Web que facilita a configuração, operação e escala de um banco de dados relacional na Nuvem AWS.
O AWS ParallelCluster usa o Amazon RDS para AWS Batch e Slurm.
Para obter mais informações sobre o Amazon RDS, consulte https://aws.amazon.com/rds/
Amazon Route 53
O Amazon Route 53 (Route 53) é usado para criar zonas hospedadas com nomes de host e nomes de domínio totalmente qualificados para cada um dos nós de computação.
Para obter mais informações sobre o Route 53, consulte https://aws.amazon.com/route53/
Amazon Simple Notification Service
(Amazon SNS) é um serviço gerenciado que oferece entrega de mensagens de publicadores para assinantes (também conhecidos como produtores e consumidores).
O AWS ParallelCluster usa o Amazon SNS para hospedagem de API.
Para obter mais informações sobre o Amazon SNS, consulte https://aws.amazon.com/sns/
Amazon Simple Storage Service
O Amazon Simple Storage Service (Amazon S3) armazena modelos do AWS ParallelCluster localizados em cada Região da AWS. O AWS ParallelCluster pode ser configurado para permitir que as ferramentas CLI/SDK usem o Amazon S3.
O AWS ParallelCluster também cria um bucket Amazon S3 em sua Conta da AWS para armazenar recursos que são usados por seus clusters, como o arquivo de configuração do cluster. O AWS ParallelCluster mantém um bucket do Amazon S3 em cada Região da AWS que você criar clusters.
Quando você usa o AWS Batch cluster, um bucket do Amazon S3 em sua conta é usado para armazenar dados relacionados. Por exemplo, o bucket armazena os artefatos usados pela criação de imagens do Docker e scripts de tarefas enviadas.
Para obter mais informações, consulte https://aws.amazon.com/s3/
Amazon VPC
O Amazon VPC define uma rede usada pelos nós em seu cluster.
Para obter mais informações sobre o Amazon VPC, consulte https://aws.amazon.com/vpc/
Elastic Fabric Adapter
O Elastic Fabric Adapter (EFA) é uma interface de rede para instâncias que pode ser usado para executar aplicações que exigem altos níveis de comunicação entre nós em grande escala na AWS.
Para obter mais informações sobre o EC2 Image Builder, consulte https://aws.amazon.com/hpc/efa/
EC2 Image Builder
O EC2 Image Builder é um serviço da AWS totalmente gerenciado que ajuda a automatizar a criação, o gerenciamento e a implantação de imagens de servidor personalizadas, seguras e atualizadas.
O AWS ParallelCluster usa o Image Builder para criar e gerenciar imagens do AWS ParallelCluster.
Para obter mais informações sobre o EC2 Image Builder, consulte https://aws.amazon.com/image-builder/
Amazon DCV
O Amazon DCV é um protocolo de exibição remota de alto desempenho que permite fornecer áreas de trabalho remotas e streaming de aplicações de maneira segura para qualquer dispositivo, mesmo em condições variadas de rede. O Amazon DCV é usado quando as configurações Seção HeadNode/Dcv são especificadas. O suporte ao Amazon DCV foi adicionado no AWS ParallelCluster versão 2.5.0.
Para ter mais informações sobre o Amazon DCV, consulte https://aws.amazon.com/hpc/dcv/
