Utilizzo di file system di rete con AWS PCS - AWS PCS
Considerazioni sull'utilizzo dei file system di reteEsempi di supporti di rete

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di file system di rete con AWS PCS

È possibile collegare i file system di rete ai nodi avviati in un gruppo di nodi di calcolo AWS Parallel Computing Service (AWS PCS) per fornire una posizione persistente in cui è possibile scrivere e accedere a dati e file. Puoi utilizzare i file system forniti da AWS servizi, tra cui Amazon Elastic File System (AmazonEFS), Amazon FSx for Open ZFS, Amazon FSx for Lustre e Amazon File Cache. Puoi anche utilizzare file system autogestiti, come NFS i server.

In questo argomento vengono fornite considerazioni ed esempi sull'utilizzo dei file system di rete con. AWS PCS

Considerazioni sull'utilizzo dei file system di rete

I dettagli di implementazione per i vari file system sono diversi, ma ci sono alcune considerazioni comuni.

  • Il software del file system pertinente deve essere installato sull'istanza. Ad esempio, per utilizzare Amazon FSx for Lustre, è necessario Lustre il pacchetto dovrebbe essere presente. Ciò può essere ottenuto includendolo nel gruppo di nodi di calcolo AMI o utilizzando uno script che viene eseguito all'avvio dell'istanza.

  • Deve esserci un percorso di rete tra il file system di rete condiviso e le istanze del gruppo di nodi di calcolo.

  • Le regole del gruppo di sicurezza sia per il file system di rete condiviso che per le istanze del gruppo di nodi di calcolo devono consentire le connessioni alle porte pertinenti.

  • È necessario mantenere una coerenza POSIX namespace di utenti e gruppi tra le risorse che accedono ai file system. In caso contrario, i job e i processi interattivi eseguiti sul PCS cluster potrebbero riscontrare errori di autorizzazione.

  • I montaggi del file system vengono eseguiti utilizzando EC2 modelli di avvio. Errori o timeout nel montaggio di un file system di rete possono impedire la disponibilità di istanze per l'esecuzione dei job. Ciò, a sua volta, può comportare costi imprevisti. Per ulteriori informazioni sul debug dei modelli di avvio, consulta. Utilizzo dei modelli di EC2 lancio di Amazon con AWS PCS

Esempi di supporti di rete

Puoi creare file system utilizzando AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS e Amazon File Cache. Espandi la sezione pertinente di seguito per vedere un esempio di ogni montaggio di rete.

Configurazione del file system

Crea un EFS file system Amazon. Assicurati che abbia un target di montaggio in ogni zona di disponibilità in cui avviare le istanze del gruppo di nodi di PCS calcolo. Assicurati inoltre che ogni target di montaggio sia associato a un gruppo di sicurezza che consenta l'accesso in entrata e in uscita dalle istanze del gruppo di nodi di PCS calcolo. Per ulteriori informazioni, consulta Mount targets and security group nella Amazon Elastic File System User Guide.

Modello di lancio

Aggiungi i gruppi di sicurezza dalla configurazione del file system al modello di lancio che utilizzerai per il gruppo di nodi di calcolo.

Includi i dati utente che utilizzano un cloud-config meccanismo per montare il EFS file system Amazon. Sostituisci i seguenti valori in questo script con i tuoi dati:

  • mount-point-directory— Il percorso su ogni istanza in cui monterai Amazon EFS

  • filesystem-id— L'ID del file system per il EFS file system

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Configurazione del file system

Crea un file system FSx for Lustre nel luogo in VPC cui lo AWS PCS utilizzerai. Per ridurre al minimo i trasferimenti tra zone, esegui la distribuzione in una sottorete nella stessa zona di disponibilità, dove lancerai la maggior parte delle istanze del gruppo di nodi di calcolo. PCS Assicurati che il file system sia associato a un gruppo di sicurezza che consenta l'accesso in entrata e in uscita dalle istanze del gruppo di nodi di calcolo. PCS Per ulteriori informazioni sui gruppi di sicurezza, consulta il controllo degli accessi al file system con Amazon VPC nella Guida per l'utente di Amazon FSx for Lustre.

Modello di lancio

Includi i dati utente utilizzati cloud-config per montare il file system FSx for Lustre. Sostituisci i seguenti valori in questo script con i tuoi dati:

  • mount-point-directory— Il percorso su un'istanza in cui si desidera montare FSx Lustre

  • filesystem-id— L'ID del file system per il file system FSx for Lustre

  • mount-name— Il nome di montaggio per il file FSx system for Lustre

  • region-code— Il Regione AWS luogo in cui è distribuito il file system FSx for Lustre (deve essere lo stesso del sistema in uso) AWS PCS

  • (Facoltativo)latest: qualsiasi versione di Lustre supportato da FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Configurazione del file system

Crea un ZFS file system FSx for Open nel VPC luogo in cui lo utilizzerai AWS PCS. Per ridurre al minimo i trasferimenti tra zone, esegui la distribuzione in una sottorete nella stessa zona di disponibilità, dove lancerai la maggior parte delle istanze del gruppo di nodi di AWS PCS calcolo. Assicurati che il file system sia associato a un gruppo di sicurezza che consenta l'accesso in entrata e in uscita dalle istanze del gruppo di nodi di calcolo. AWS PCS Per ulteriori informazioni sui gruppi di sicurezza, consulta Managing file system access with Amazon VPC nella FSxfor Open ZFS User Guide.

Modello di lancio

Includi i dati utente utilizzati cloud-config per montare il volume root di un ZFS file system FSx for Open. Sostituisci i seguenti valori in questo script con i tuoi dati:

  • mount-point-directory— Il percorso su un'istanza in cui desideri montare il tuo FSx for Open ZFS share

  • filesystem-id— L'ID del file system FSx per il ZFS file system for Open

  • region-code— Il Regione AWS luogo in cui è distribuito ZFS il file system FSx for Open (deve essere lo stesso del AWS PCS sistema in uso)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Configurazione del file system

Crea un Amazon File Cache nel VPC luogo in cui lo utilizzerai AWS PCS. Per ridurre al minimo i trasferimenti tra zone, scegli una sottorete nella stessa zona di disponibilità in cui lancerai la maggior parte delle istanze del gruppo di nodi di PCS calcolo. Assicurati che la File Cache sia associata a un gruppo di sicurezza che consenta il traffico in entrata e in uscita sulla porta 988 tra le tue istanze e la File Cache. PCS Per ulteriori informazioni sui gruppi di sicurezza, consulta la sezione Controllo dell'accesso alla cache con Amazon VPC nella Amazon File Cache User Guide.

Modello di lancio

Aggiungi i gruppi di sicurezza dalla configurazione del file system al modello di avvio che utilizzerai per il gruppo di nodi di calcolo.

Includi i dati utente utilizzati cloud-config per montare Amazon File Cache. Sostituisci i seguenti valori in questo script con i tuoi dati:

  • mount-point-directory— Il percorso su un'istanza in cui si desidera montare FSx Lustre

  • cache-dns-name— Il nome Domain Name System (DNS) per la File Cache

  • mount-name— Il nome di montaggio per la File Cache

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==