Uso de sistemas de archivos de red con AWS PCS - AWS PCS
Consideraciones sobre el uso de sistemas de archivos de redEjemplos de montajes de red

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de sistemas de archivos de red con AWS PCS

Puede conectar los sistemas de archivos de red a los nodos lanzados en un grupo de nodos de cómputo del AWS Parallel Computing Service (AWS PCS) para proporcionar una ubicación persistente en la que se puedan escribir los datos y los archivos y acceder a ellos. Puede utilizar los sistemas de archivos proporcionados por AWS los servicios, incluidos Amazon Elastic File System (AmazonEFS), Amazon FSx for Open ZFS, Amazon FSx for Lustre y Amazon File Cache. También puede utilizar sistemas de archivos autogestionados, como NFS servidores.

En este tema se describen algunas consideraciones y ejemplos del uso de sistemas de archivos de red con AWS PCS.

Consideraciones sobre el uso de sistemas de archivos de red

Los detalles de implementación de los distintos sistemas de archivos son diferentes, pero hay algunas consideraciones comunes.

  • El software del sistema de archivos correspondiente debe estar instalado en la instancia. Por ejemplo, para usar Amazon FSx for Lustre, el apropiado Lustre el paquete debe estar presente. Esto se puede lograr incluyéndolo en el grupo de nodos de cómputo AMI o utilizando un script que se ejecute al arrancar la instancia.

  • Debe haber una ruta de red entre el sistema de archivos de red compartido y las instancias del grupo de nodos de cómputo.

  • Las reglas del grupo de seguridad tanto para el sistema de archivos de red compartido como para las instancias del grupo de nodos de procesamiento deben permitir las conexiones a los puertos correspondientes.

  • Debe mantener una coherencia POSIX espacio de nombres de usuarios y grupos en todos los recursos que acceden a los sistemas de archivos. De lo contrario, los trabajos y los procesos interactivos que se ejecutan en el PCS clúster podrían producir errores de permisos.

  • Los montajes del sistema de archivos se realizan mediante EC2 plantillas de lanzamiento. Los errores o los tiempos de espera al montar un sistema de archivos de red pueden impedir que las instancias estén disponibles para ejecutar trabajos. Esto, a su vez, puede generar costes inesperados. Para obtener más información sobre la depuración de plantillas de lanzamiento, consulteUso de plantillas de EC2 lanzamiento de Amazon con AWS PCS.

Ejemplos de montajes de red

Puede crear sistemas de archivos con AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS y Amazon File Cache. Amplíe la sección correspondiente a continuación para ver un ejemplo de cada montaje de red.

Configuración del sistema de archivos

Crea un sistema de EFS archivos de Amazon. Asegúrese de que tenga un objetivo de montaje en cada zona de disponibilidad en la que vaya a lanzar instancias de grupos de nodos de PCS cómputo. Asegúrese también de que cada destino de montaje esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de PCS nodos de procesamiento. Para obtener más información, consulte Montar objetivos y grupos de seguridad en la Guía del usuario de Amazon Elastic File System.

Plantilla de lanzamiento

Añada los grupos de seguridad de la configuración del sistema de archivos a la plantilla de lanzamiento que utilizará para el grupo de nodos de cómputo.

Incluya los datos del usuario que utilizan el cloud-config mecanismo para montar el sistema de EFS archivos de Amazon. Sustituya los siguientes valores de este script por sus propios detalles:

  • mount-point-directory— La ruta en cada instancia en la que montarás Amazon EFS

  • filesystem-id— El ID del sistema de EFS archivos del sistema de archivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Configuración del sistema de archivos

Cree un sistema de archivos FSx para Lustre en el VPC lugar donde lo vaya a utilizar AWS PCS. Para minimizar las transferencias entre zonas, impleméntelo en una subred de la misma zona de disponibilidad en la que lanzará la mayoría de las instancias del grupo de nodos de PCS cómputo. Asegúrese de que el sistema de archivos esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de nodos de PCS procesamiento. Para obtener más información sobre los grupos de seguridad, consulte Control de acceso al sistema de archivos con Amazon VPC en la Guía del usuario de Amazon FSx for Lustre.

Plantilla de lanzamiento

Incluya los datos de usuario que se utilizan cloud-config para montar el sistema FSx de archivos de Lustre. Sustituya los siguientes valores de este script por sus propios detalles:

  • mount-point-directory— La ruta de la instancia en la que quieres montarla FSx para Lustre

  • filesystem-id— El ID del sistema de archivos del sistema de archivos FSx de Lustre

  • mount-name— El nombre de montaje del sistema de FSx archivos para Lustre

  • region-code— El Región de AWS lugar donde se implementa el sistema de archivos FSx for Lustre (debe ser el mismo que el de su AWS PCS sistema)

  • (Opcional)latest: cualquier versión de Lustre compatible con FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Configuración del sistema de archivos

Cree un sistema de ZFS archivos FSx para abrir en el VPC lugar donde lo va a utilizar AWS PCS. Para minimizar las transferencias entre zonas, impleméntelas en una subred de la misma zona de disponibilidad donde lanzará la mayoría de las instancias del grupo de AWS PCS nodos de procesamiento. Asegúrese de que el sistema de archivos esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de nodos de AWS PCS procesamiento. Para obtener más información sobre los grupos de seguridad, consulte Administrar el acceso al sistema de archivos con Amazon VPC en la Guía del ZFS usuario de FSx for Open.

Plantilla de lanzamiento

Incluya los datos de usuario que cloud-config se utilizan para montar el volumen raíz de un FSx sistema de ZFS archivos de Open. Sustituya los siguientes valores de este script por sus propios detalles:

  • mount-point-directory— La ruta de una instancia en la que quieres montar tu ZFS recurso compartido FSx para Open

  • filesystem-id— El ID del sistema de archivos del sistema FSx de ZFS archivos Open

  • region-code— El Región de AWS lugar donde se implementa el sistema de ZFS archivos FSx for Open (debe ser el mismo que el de su AWS PCS sistema)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Configuración del sistema de archivos

Crea una caché de archivos de Amazon en el VPC lugar donde la usarás AWS PCS. Para minimizar las transferencias entre zonas, elija una subred en la misma zona de disponibilidad en la que lanzará la mayoría de las instancias del grupo de nodos de PCS cómputo. Asegúrese de que la caché de archivos esté asociada a un grupo de seguridad que permita el tráfico entrante y saliente en el puerto 988 entre las PCS instancias y la caché de archivos. Para obtener más información sobre los grupos de seguridad, consulte Control de acceso a caché con Amazon VPC en la Guía del usuario de Amazon File Cache.

Plantilla de lanzamiento

Añada los grupos de seguridad de la configuración de su sistema de archivos a la plantilla de lanzamiento que utilizará para el grupo de nodos de cómputo.

Incluye los datos de usuario que se utilizan cloud-config para montar la caché de archivos de Amazon. Sustituya los siguientes valores de este script por sus propios detalles:

  • mount-point-directory— La ruta de la instancia en la que quieres montarla FSx para Lustre

  • cache-dns-name— El nombre del sistema de nombres de dominio (DNS) de la caché de archivos

  • mount-name— El nombre de montaje de la caché de archivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==