Usando sistemas de arquivos de rede com AWS PCS - AWS PCS
Considerações sobre o uso de sistemas de arquivos de redeExemplo de montagens de rede

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando sistemas de arquivos de rede com AWS PCS

Você pode conectar sistemas de arquivos de rede a nós lançados em um grupo de nós de computação do Serviço de Computação AWS Paralela (AWS PCS) para fornecer um local persistente em que dados e arquivos possam ser gravados e acessados. Você pode usar sistemas de arquivos fornecidos por AWS serviços, incluindo Amazon Elastic File System (AmazonEFS), Amazon FSx for Open ZFS, Amazon FSx for Lustre e Amazon File Cache. Você também pode usar sistemas de arquivos autogerenciados, como NFS servidores.

Este tópico aborda considerações e exemplos do uso de sistemas de arquivos de rede com AWS PCS.

Considerações sobre o uso de sistemas de arquivos de rede

Os detalhes da implementação de vários sistemas de arquivos são diferentes, mas há algumas considerações comuns.

  • O software do sistema de arquivos relevante deve estar instalado na instância. Por exemplo, para usar o Amazon FSx for Lustre, o apropriado Lustre o pacote deve estar presente. Isso pode ser feito incluindo-o no grupo de nós de computação AMI ou usando um script executado na inicialização da instância.

  • Deve haver uma rota de rede entre o sistema de arquivos de rede compartilhado e as instâncias do grupo de nós de computação.

  • As regras do grupo de segurança para o sistema de arquivos de rede compartilhado e as instâncias do grupo de nós de computação devem permitir conexões com as portas relevantes.

  • Você deve manter uma consistência POSIX namespace de usuário e grupo em todos os recursos que acessam os sistemas de arquivos. Caso contrário, trabalhos e processos interativos executados em seu PCS cluster poderão encontrar erros de permissão.

  • As montagens do sistema de arquivos são feitas usando EC2 modelos de lançamento. Erros ou tempos limite na montagem de um sistema de arquivos de rede podem impedir que as instâncias se tornem disponíveis para executar trabalhos. Isso, por sua vez, pode levar a custos inesperados. Para obter mais informações sobre a depuração de modelos de lançamento, consulte. Usando modelos de EC2 lançamento da Amazon com AWS PCS

Exemplo de montagens de rede

Você pode criar sistemas de arquivos usando AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS e Amazon File Cache. Expanda a seção relevante abaixo para ver um exemplo de cada montagem de rede.

Configuração do sistema de arquivos

Crie um sistema de EFS arquivos da Amazon. Certifique-se de que ele tenha um destino de montagem em cada zona de disponibilidade em que você iniciará instâncias de grupos de nós de PCS computação. Além disso, certifique-se de que cada destino de montagem esteja associado a um grupo de segurança que permita acesso de entrada e saída das instâncias do grupo de nós de PCS computação. Para obter mais informações, consulte Montar alvos e grupos de segurança no Guia do usuário do Amazon Elastic File System.

Modelo de execução

Adicione os grupos de segurança da configuração do sistema de arquivos ao modelo de execução que você usará para o grupo de nós de computação.

Inclua dados do usuário que usam o cloud-config mecanismo para montar o sistema de EFS arquivos da Amazon. Substitua os seguintes valores nesse script pelos seus próprios detalhes:

  • mount-point-directory— O caminho em cada instância em que você montará a Amazon EFS

  • filesystem-id— O ID do sistema de arquivos para o sistema EFS de arquivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Configuração do sistema de arquivos

Crie um sistema de arquivos FSx for Lustre no VPC local onde você AWS PCS usará. Para minimizar as transferências entre zonas, implante em uma sub-rede na mesma zona de disponibilidade em que você iniciará a maioria das instâncias do grupo de nós de PCS computação. Certifique-se de que o sistema de arquivos esteja associado a um grupo de segurança que permita acesso de entrada e saída a partir das instâncias do grupo de nós de PCS computação. Para obter mais informações sobre grupos de segurança, consulte Controle de acesso ao sistema de arquivos com a Amazon VPC no Guia do usuário do Amazon FSx for Lustre.

Modelo de execução

Inclua dados do usuário usados cloud-config para montar o sistema de arquivos FSx for Lustre. Substitua os seguintes valores nesse script pelos seus próprios detalhes:

  • mount-point-directory— O caminho em uma instância em que você deseja montar FSx para o Lustre

  • filesystem-id— O ID do sistema de arquivos do sistema de arquivos FSx for Lustre

  • mount-name— O nome da montagem do sistema de arquivos FSx for Lustre

  • region-code— Região da AWS Onde o sistema de arquivos FSx for Lustre é implantado (deve ser o mesmo do seu AWS PCS sistema)

  • (Opcional) latest — Qualquer versão do Lustre suportado por FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Configuração do sistema de arquivos

Crie um sistema de ZFS arquivos FSx for Open no VPC local em que você usará AWS PCS. Para minimizar as transferências entre zonas, implante em uma sub-rede na mesma zona de disponibilidade em que você iniciará a maioria das instâncias do grupo de nós de AWS PCS computação. Certifique-se de que o sistema de arquivos esteja associado a um grupo de segurança que permita acesso de entrada e saída das instâncias do grupo de nós de AWS PCS computação. Para obter mais informações sobre grupos de segurança, consulte Gerenciando o acesso ao sistema de arquivos com a Amazon VPC no Guia ZFS do usuário do FSx for Open.

Modelo de execução

Inclua dados do usuário usados cloud-config para montar o volume raiz de um sistema de ZFS arquivos FSx for Open. Substitua os seguintes valores nesse script pelos seus próprios detalhes:

  • mount-point-directory— O caminho em uma instância em que você deseja montar seu FSx para o Open ZFS Share

  • filesystem-id— O ID do sistema de arquivos FSx para o sistema de ZFS arquivos for Open

  • region-code— Região da AWS Onde o sistema de ZFS arquivos FSx for Open está implantado (deve ser o mesmo do seu AWS PCS sistema)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Configuração do sistema de arquivos

Crie um Amazon File Cache no VPC local onde você usará AWS PCS. Para minimizar as transferências entre zonas, escolha uma sub-rede na mesma zona de disponibilidade em que você iniciará a maioria das instâncias do grupo de nós de PCS computação. Verifique se o cache de arquivos está associado a um grupo de segurança que permite tráfego de entrada e saída na porta 988 entre suas PCS instâncias e o cache de arquivos. Para obter mais informações sobre grupos de segurança, consulte Controle de acesso ao cache com a Amazon VPC no Guia do usuário do Amazon File Cache.

Modelo de execução

Adicione os grupos de segurança da configuração do sistema de arquivos ao modelo de execução que você usará para o grupo de nós de computação.

Inclua dados do usuário usados cloud-config para montar o Amazon File Cache. Substitua os seguintes valores nesse script pelos seus próprios detalhes:

  • mount-point-directory— O caminho em uma instância em que você deseja montar FSx para o Lustre

  • cache-dns-name— O nome do Sistema de Nomes de Domínio (DNS) para o cache de arquivos

  • mount-name— O nome da montagem do cache de arquivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==