Configura e crea un cluster con AWS ParallelCluster interfaccia a riga di comando

Dopo l'installazione AWS ParallelCluster, completa i seguenti passaggi di configurazione.

Verifica che il tuo AWS account abbia un ruolo che includa le autorizzazioni necessarie per eseguire la pcluster CLI. Per ulteriori informazioni, consulta AWS ParallelCluster esempio di politiche utente di pcluster.

Configura le tue credenziali. AWS Per ulteriori informazioni, consulta Configurazione della AWS CLI nella Guida per l'utente di AWS CLI .


$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

Il Regione AWS luogo in cui viene avviato il cluster deve avere almeno una coppia di chiavi Amazon EC2. Per ulteriori informazioni, consulta le coppie di chiavi Amazon Elastic Compute Cloud nella Amazon Elastic Compute Cloud User Guide for Linux Instances.

Quando utilizzi l'interfaccia a riga di AWS ParallelCluster comando (CLI), paghi solo le AWS risorse create quando crei o aggiorni AWS ParallelCluster immagini e cluster. Per ulteriori informazioni, consulta AWS servizi usati da AWS ParallelCluster.

Configura e crea il tuo primo cluster

Per creare il primo cluster, utilizza il comando pcluster configure CLI per avviare una procedura guidata che richiede tutte le informazioni necessarie per configurare e creare il cluster. I dettagli della sequenza differiscono quando si utilizza AWS Batch come scheduler rispetto all'utilizzo. Slurm

Slurm


$  pcluster configure --config cluster-config.yaml

Dall'elenco degli Regione AWS identificatori validi, scegli Regione AWS dove vuoi che il cluster venga eseguito.

Nota

L'elenco Regioni AWS visualizzato si basa sulla partizione del tuo account e include solo quelli abilitati per Regioni AWS il tuo account. Per ulteriori informazioni sull'abilitazione Regioni AWS del tuo account, consulta Gestione Regioni AWS in. Riferimenti generali di AWS L'esempio mostrato è tratto dalla partizione AWS globale. Se il tuo account è nella AWS GovCloud (US) partizione, solo Regioni AWS in quella partizione sono elencati (gov-us-east-1e). gov-us-west-1 Analogamente, se il tuo account si trova nella partizione AWS cinese, vengono visualizzati solo cn-north-1 ecn-northwest-1. Per l'elenco completo dei servizi Regioni AWS supportati da AWS ParallelCluster, consultaSupportato Regioni AWS per AWS ParallelCluster.


Allowed values for Regione AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Regione AWS ID [ap-northeast-1]:

Scegli la coppia di chiavi tra quelle registrate con Amazon Elastic Compute Cloud tra quelle selezionate Regione AWS:


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Scegliere il pianificatore da utilizzare con il cluster.


Allowed values for Scheduler:
1. slurm
Scheduler [slurm]:

Scegliere il sistema operativo.


Allowed values for Operating System:
1. alinux2023
2. ubuntu2404
3. ubuntu2204
4. rhel8
5. rhel9
Operating System [alinux2023]:

Scegli il tipo di istanza del nodo principale:


Head node instance type [t2.micro]:

Scegli la configurazione della coda. Nota: il tipo di istanza non può essere specificato per più risorse di calcolo nella stessa coda.


Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Consenti a EFA di eseguire applicazioni che richiedono alti livelli di comunicazione tra istanze su larga scala senza costi aggiuntivi: AWS

Scegli un tipo di istanza che supporti Elastic Fabric Adapter (EFA).
Abilita EFA.
Specificate il nome di un gruppo di collocamento esistente. Se lo lasci vuoto, ne AWS ParallelCluster crea uno per te.


Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Una volta completati i passaggi precedenti, decidi se utilizzare un VPC esistente o lasciare che AWS ParallelCluster crei un VPC per te. Se non disponi di un VPC configurato correttamente, AWS ParallelCluster puoi crearne uno nuovo per te. Posiziona sia il nodo principale che quello di calcolo nella stessa sottorete pubblica o solo il nodo principale in una sottorete pubblica con tutti i nodi di calcolo in una sottorete privata. Se consenti di AWS ParallelCluster creare un VPC, devi decidere se tutti i nodi devono trovarsi in una sottorete pubblica. Per ulteriori informazioni, consulta Configurazioni di rete.

Se configuri il cluster per utilizzare tipi di istanza con più interfacce di rete o una scheda di rete, consulta i requisiti Configurazioni di rete di rete aggiuntivi.

È possibile raggiungere la tua quota per il numero di VPC consentiti in un. Regione AWS La quota predefinita è di cinque VPC per a. Regione AWS Per ulteriori informazioni su questa quota e su come richiedere un aumento, consulta VPC e sottoreti nella Amazon VPC User Guide.

Importante

I VPC creati da non abilitano i VPC AWS ParallelCluster Flow Logs per impostazione predefinita. I VPC Flow Logs consentono di acquisire informazioni sul traffico IP in entrata e in uscita dalle interfacce di rete nei VPC. Per ulteriori informazioni, consulta Log di flusso VPC nella Guida per l’utente di Amazon VPC.

Se consenti di AWS ParallelCluster creare un VPC, assicurati di decidere se tutti i nodi devono trovarsi in una sottorete pubblica.

Nota

Se lo desideri1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster crea un gateway NAT che comporta costi aggiuntivi, anche se specifichi risorse di livello gratuito.


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Se non crei un nuovo VPC, devi selezionare un VPC esistente.

Se scegli di AWS ParallelCluster creare il VPC, prendi nota dell'ID VPC in modo da poterlo utilizzare AWS CLI per eliminarlo in un secondo momento.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Dopo aver selezionato il VPC, decidere se utilizzare le sottoreti esistenti o crearne di nuove.


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

AWS Batch


$  pcluster configure --config cluster-config.yaml

Dall'elenco degli Regione AWS identificatori validi, scegli Regione AWS dove vuoi che il tuo cluster venga eseguito.

Nota

L'elenco Regioni AWS visualizzato si basa sulla partizione del tuo account. Include solo Regioni AWS quelli abilitati per il tuo account. Per ulteriori informazioni sull'abilitazione Regioni AWS del tuo account, consulta Gestire Regioni AWS in Riferimenti generali di AWS. L'esempio mostrato è tratto dalla partizione AWS globale. Se il tuo account è nella AWS GovCloud (US) partizione, solo Regioni AWS in quella partizione sono elencati (gov-us-east-1e). gov-us-west-1 Analogamente, se il tuo account si trova nella partizione AWS cinese, vengono visualizzati solo cn-north-1 ecn-northwest-1. Per l'elenco completo dei servizi Regioni AWS supportati da AWS ParallelCluster, consultaSupportato Regioni AWS per AWS ParallelCluster.


Allowed values for Regione AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Regione AWS ID [us-east-1]:

La coppia di chiavi viene selezionata tra le coppie di chiavi registrate con Amazon EC2 nella cartella selezionata Regione AWS. Scegli la coppia di chiavi:


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Scegliere il pianificatore da utilizzare con il cluster.


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Quando come pianificatore è selezionato awsbatch, come sistema operativo viene utilizzato alinux2. Viene inserito il tipo di istanza del nodo principale:


Head node instance type [t2.micro]:

Scegli la configurazione della coda. Lo AWS Batch scheduler contiene solo una coda. Viene inserita la dimensione massima del cluster di nodi di calcolo. Questa viene misurata in vCPU.


Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Decidi se utilizzare i VPC esistenti o lasciare che AWS ParallelCluster creino i VPC per te. Se non si dispone di un VPC configurato correttamente, è possibile crearne uno nuovo con AWS ParallelCluster . Utilizza sia il nodo principale che quello di calcolo nella stessa sottorete pubblica oppure solo il nodo principale in una sottorete pubblica con tutti i nodi in una sottorete privata. È possibile raggiungere la tua quota sul numero di VPC consentiti in una regione. Il numero predefinito di VPC è cinque. Per ulteriori informazioni su questa quota e su come richiedere un aumento, consulta VPC e sottoreti nella Amazon VPC User Guide.

Importante

Se consenti di AWS ParallelCluster creare un VPC, assicurati di decidere se tutti i nodi devono trovarsi in una sottorete pubblica.

Nota


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Se non crei un nuovo VPC, devi selezionare un VPC esistente.

Se scegli di AWS ParallelCluster creare il VPC, prendi nota dell'ID VPC in modo da poterlo utilizzare AWS CLI o Console di gestione AWS per eliminarlo in un secondo momento.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Dopo aver selezionato il VPC, assicurati di decidere se utilizzare le sottoreti esistenti o crearne di nuove.


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Una volta completati i passaggi precedenti, un semplice cluster viene avviato in un VPC. Il VPC utilizza una sottorete esistente che supporta indirizzi IP pubblici. La tabella di routing per la sottorete è. 0.0.0.0/0 => igw-xxxxxx Nota le seguenti condizioni:

Il VPC deve avere DNS Resolution = yes e DNS Hostnames = yes.
Il VPC deve inoltre avere le opzioni DHCP corrette domain-name per. Regione AWS Il set opzioni DHCP predefinito specifica già il AmazonProvidedDNS necessario. Se specifichi più di un server di nomi di dominio, consulta i set di opzioni DHCP nella Amazon VPC User Guide. Quando usi sottoreti private, utilizza un gateway NAT o un proxy interno per abilitare l'accesso web per i nodi di calcolo. Per ulteriori informazioni, consulta Configurazioni di rete.

Quando tutte impostazioni contengono valori validi, è possibile avviare il cluster eseguendo il comando creato:


$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.16.1",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Segui l'avanzamento del cluster:


$ pcluster describe-cluster --cluster-name test-cluster


$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Una volta raggiunto lo "clusterStatus": "CREATE_COMPLETE" stato, puoi connetterti al cluster utilizzando le normali impostazioni del client SSH. Per ulteriori informazioni sulla connessione alle istanze Amazon EC2, consulta la Amazon EC2 User Guide nella Amazon EC2 User Guide. Oppure puoi connettere il cluster tramite


$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Per eliminare il cluster, esegui il comando seguente.


$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Dopo aver eliminato il cluster, è possibile eliminare le risorse di rete nel VPC eliminando lo stack CloudFormation di rete. Il nome dello stack inizia con «parallelclusternetworking-» e contiene l'ora di creazione nel formato «YYYYMMDDHHMMSS». Puoi list-stacks elencare gli stack usando il comando.


$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

Lo stack può essere eliminato utilizzando il delete-stack comando.


$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

Il VPC che configura pcluster crea per te non viene creato nello stack CloudFormation di rete. Puoi eliminare quel VPC manualmente nella console o utilizzando il. AWS CLI


$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Nozioni di base

Configura e crea un cluster con l'interfaccia utente AWS ParallelCluster