Armazenamento compartilhado - AWS ParallelCluster

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Armazenamento compartilhado

AWS ParallelCluster suporta o uso do Amazon EBS, FSx para ONTAP e FSx para volumes de armazenamento compartilhado OpenZFS, Amazon EFS e FSx para sistemas de arquivos de armazenamento compartilhado Lustre ou caches de arquivos. Recomendamos que você siga a orientação do pilar de confiabilidade da estrutura bem arquitetada da AWS e faça backup de seus volumes e sistemas de arquivos.

Selecione um sistema de armazenamento que atenda aos requisitos de I/O do seu aplicativo HPC. Você pode otimizar cada sistema de arquivos com base em seu caso de uso específico. Para obter mais informações, consulte visão geral sobre opções de armazenamento.

Os volumes do Amazon EBS são anexados ao nó principal e compartilhados com os nós de computação por meio do NFS. Essa opção pode ser econômica, mas o desempenho depende dos recursos do nó principal à medida que as necessidades de armazenamento aumentam. Isso pode se tornar um gargalo à medida que mais nós de computação são adicionados ao cluster e a demanda de taxa de throughput aumenta.

Os sistemas de arquivos do Amazon EFS escalam conforme as necessidades de armazenamento mudam. Você pode configurar esses sistemas de arquivos para uma variedade de casos de uso. Use os sistemas de arquivos Amazon EFS para executar aplicativos paralelizados e sensíveis à latência em seu cluster.

FSx Os sistemas de arquivos for Lustre podem processar grandes conjuntos de dados com taxa de transferência de até centenas de gigabytes por segundo, milhões de IOPS e latências inferiores a um milissegundo. Use FSx para sistemas de arquivos Lustre para ambientes computacionais exigentes de alto desempenho.

NoSeção SharedStorage, você pode definir armazenamento externo ou AWS ParallelCluster gerenciado:

  • O armazenamento externo se refere a um volume ou sistema de arquivos existente que você gerencia. AWS ParallelCluster não cria nem exclui esse armazenamento.

  • O armazenamento gerenciado se refere a um volume ou sistema de arquivos AWS ParallelCluster criado e que pode ser excluído.

Armazenamento externo

Você pode configurar AWS ParallelCluster para anexar armazenamento externo ao cluster quando o cluster é criado ou atualizado. Da mesma forma, você pode configurá-lo para separar o armazenamento externo do cluster quando o cluster for excluído ou atualizado. Seus dados são preservados e você pode usá-los para armazenamento compartilhado permanente de longo prazo fora do ciclo de vida do cluster.

nota

As versões AWS ParallelCluster anteriores à 3.8 não permitem a montagem de sistemas de arquivos gerenciados externamente no. /home A partir da versão 3.8, o AWS ParallelCluster permite que você use /home como ponto de montagem para um sistema de arquivos gerenciado externo. Você pode montar um sistema de arquivos gerenciado externamente /home especificando /home o valor do MountDirparâmetro abaixo do. Seção SharedStorage

O Amazon File Cache não é adequado para uso como diretório /home do sistema e, portanto, não é compatível no momento para montar o /home.

Ao especificar um /home diretório abaixo, Seção SharedStorage a opção de SharedStorageTypeconfiguração será substituída, o que significa que as configurações abaixo Seção SharedStorage serão usadas em seu lugar.

Ao montar um sistema de arquivos externo no /home diretório, AWS ParallelCluster copia o /home conteúdo do nó principal para o sistema de arquivos externo, sem sobrescrever os arquivos existentes no armazenamento externo. Isso inclui transferir a chave SSH do cluster para o usuário padrão, se ela estiver ausente no sistema de arquivos externo. Para ter mais informações, consulte AWS ParallelCluster considerações sobre armazenamento compartilhado.

AWS ParallelCluster armazenamento gerenciado

AWS ParallelCluster por padrão, o armazenamento gerenciado depende do ciclo de vida do cluster na configuração. Por padrão, o parâmetro de configuração SharedStorage DeletionPolicy é definido como Delete.

Por padrão, um sistema de arquivos ou volume AWS ParallelCluster gerenciado e seus dados são excluídos se uma das afirmações a seguir for verdadeira.

  • Se você excluir o cluster.

  • Você altera a configuração do armazenamento compartilhado gerenciado do Name.

  • Se você remover o armazenamento compartilhado gerenciado da configuração.

Defina DeletionPolicy como Retain para manter seu sistema de arquivos ou volume compartilhado gerenciado e seus dados. Recomendamos que você faça backup de seus dados regularmente para evitar a perda de dados. Você pode usar o AWS Backup para gerenciar centralmente os backups de todas as suas opções de armazenamento.

Você pode remover a dependência do ciclo de vida com as configurações. Para obter mais informações, consulte Converter armazenamento AWS ParallelCluster gerenciado em armazenamento externo.

Para obter mais informações, sobre cotas de armazenamento compartilhado, consulte Cotas para armazenamento compartilhado.

Para obter mais informações sobre armazenamento compartilhado e mudança para novas AWS ParallelCluster versões, consultePráticas recomendadas: mover um cluster para uma nova versão AWS ParallelCluster secundária ou de patch.

Você pode configurar AWS ParallelCluster para anexar armazenamento externo ao cluster quando o cluster é criado ou atualizado. Da mesma forma, você pode configurá-lo para separar o armazenamento externo do cluster quando o cluster for excluído ou atualizado. Seus dados são preservados e você pode usá-los para soluções de armazenamento compartilhado permanente de longo prazo que são independentes do ciclo de vida do cluster.

Por padrão, o armazenamento gerenciado depende do ciclo de vida do cluster. Você pode remover a dependência do ciclo de vida com as configurações descritas em Converter armazenamento AWS ParallelCluster gerenciado em armazenamento externo.

Com configurações específicas, você pode otimizar cada uma das soluções de armazenamento suportadas para seus casos de uso.

Para cotas de armazenamento compartilhado, consulte Cotas para armazenamento compartilhado.

Para obter mais informações sobre armazenamento compartilhado e mudança para novas AWS ParallelCluster versões, consultePráticas recomendadas: mover um cluster para uma nova versão AWS ParallelCluster secundária ou de patch.

Os tópicos a seguir descrevem como configurar o armazenamento compartilhado para cada serviço de armazenamento AWS ParallelCluster compatível.