Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration et création d'un cluster à l'aide de l'interface de ligne de AWS ParallelCluster commande
Après l'installation AWS ParallelCluster, effectuez les étapes de configuration suivantes.
Vérifiez que votre AWS compte possède un rôle qui inclut les autorisations nécessaires pour exécuter le pclusterCLI. Pour de plus amples informations, veuillez consulter AWS ParallelCluster exemples de politiques pcluster utilisateur.
Configurez vos AWS informations d'identification. Pour plus d'informations, consultez Configuration de l' AWS CLI dans le Guide de l'utilisateur de l'AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
L' Région AWS endroit où le cluster est lancé doit comporter au moins une paire de EC2 clés Amazon. Pour plus d'informations, consultez les paires de clés Amazon Elastic Compute Cloud dans le guide de l'utilisateur Amazon Elastic Compute Cloud pour les instances Linux.
Lorsque vous utilisez l'interface de ligne de AWS ParallelCluster commande (CLI), vous ne payez que pour les AWS ressources créées lorsque vous créez ou mettez à jour AWS ParallelCluster des images et des clusters. Pour de plus amples informations, veuillez consulter AWS services utilisés par AWS ParallelCluster.
Configurez et créez votre premier cluster
Créez votre premier cluster en utilisant la pcluster configure CLI commande pour lancer un assistant qui vous invite à saisir toutes les informations nécessaires à la configuration et à la création de votre cluster. Les détails de la séquence diffèrent lors de l'utilisation en AWS Batch tant que planificateur par rapport à l'utilisation Slurm.
- Slurm
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste des Régions AWS éléments affichés est basée sur la partition de votre compte et inclut uniquement Régions AWS les partitions activées pour votre compte. Pour plus d'informations sur Régions AWS l'activation de votre compte, consultez Gérer Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [ap-northeast-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon Elastic Compute Cloud dans la zone sélectionnée Région AWS. Choisissez la paire de clés :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Choisissez le système d'exploitation.
Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:
Choisissez le type d'instance du nœud principal :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Remarque : Le type d'instance ne peut pas être spécifié pour plusieurs ressources de calcul dans la même file d'attente.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permet EFA d'exécuter des applications nécessitant des niveaux élevés de communication entre instances à grande échelle AWS , sans frais supplémentaires :
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Une fois les étapes précédentes terminées, décidez d'en utiliser un existant VPC ou d'en AWS ParallelCluster créer un VPC pour vous. Si vous n'en avez pas correctement configuréVPC, vous AWS ParallelCluster pouvez en créer un nouveau pour vous. Il place soit les nœuds de tête et de calcul dans le même sous-réseau public, soit uniquement le nœud principal dans un sous-réseau public avec tous les nœuds de calcul dans un sous-réseau privé. Si vous autorisez la AWS ParallelCluster création d'unVPC, vous devez décider si tous les nœuds doivent se trouver dans un sous-réseau public. Pour de plus amples informations, veuillez consulter Configurations réseau.
Si vous configurez votre cluster pour utiliser des types d'instances dotés de plusieurs interfaces réseau ou d'une carte réseau, consultez Configurations réseau les exigences réseau supplémentaires.
Il est possible d'atteindre votre quota pour le nombre de personnes VPCs autorisées dans un Région AWS. Le quota par défaut est de cinq VPCs pour un Région AWS. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPCet les sous-réseaux dans le guide de l'VPCutilisateur Amazon.
VPCscréé par AWS ParallelCluster ne pas activer les journaux de VPC flux par défaut. VPCLes journaux de flux vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de votreVPCs. Pour plus d'informations, consultez VPCFlow Logs dans le guide de VPC l'utilisateur Amazon.
Si vous laissez AWS ParallelCluster créer unVPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une NAT passerelle qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous n'en créez pas de nouveauVPC, vous devez sélectionner un existantVPC.
Si vous choisissez de AWS ParallelCluster créer leVPC, notez l'VPCidentifiant afin de pouvoir l'utiliser AWS CLI pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une VPC fois le sélectionné, décidez d'utiliser les sous-réseaux existants ou d'en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste Régions AWS affichée est basée sur la partition de votre compte. Cela inclut uniquement Régions AWS ceux qui sont activés pour votre compte. Pour plus d'informations sur Régions AWS l'activation de votre compte, consultez Gérer Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [us-east-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon EC2 dans le champ sélectionné Région AWS. Choisissez la paire de clés :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Lorsque awsbatch est sélectionné comme planificateur, alinux2 est utilisé comme système d'exploitation. Le type d'instance du nœud principal est saisi :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Le AWS Batch planificateur ne contient qu'une seule file d'attente. La taille maximale du cluster de nœuds de calcul est saisie. Ceci est mesuré envCPUs.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Décidez si vous souhaitez utiliser l'existant VPCs ou laisser AWS ParallelCluster créer VPCs pour vous. Si vous n'en avez pas correctement configuréVPC, AWS ParallelCluster vous pouvez en créer un nouveau. Il utilise soit les nœuds de tête et de calcul du même sous-réseau public, soit uniquement le nœud principal d'un sous-réseau public avec tous les nœuds d'un sous-réseau privé. Il est possible d'atteindre votre quota en ce qui concerne le nombre de VPCs personnes autorisées dans une région. Le nombre par défaut VPCs est cinq. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPCet les sous-réseaux dans le guide de l'VPCutilisateur Amazon.
VPCscréé par AWS ParallelCluster ne pas activer les journaux de VPC flux par défaut. VPCLes journaux de flux vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de votreVPCs. Pour plus d'informations, consultez VPCFlow Logs dans le guide de VPC l'utilisateur Amazon.
Si vous laissez AWS ParallelCluster créer unVPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une NAT passerelle qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous n'en créez pas de nouveauVPC, vous devez sélectionner un existantVPC.
Si vous choisissez de AWS ParallelCluster créer leVPC, notez l'VPCidentifiant afin de pouvoir l'utiliser AWS CLI ou AWS Management Console pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une VPC fois le sélectionné, assurez-vous de décider d'utiliser les sous-réseaux existants ou d'en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Lorsque vous avez terminé les étapes précédentes, un simple cluster se lance dans unVPC. VPCutilise un sous-réseau existant qui prend en charge les adresses IP publiques. La table de routage pour le sous-réseau est0.0.0.0/0 => igw-xxxxxx. Notez les conditions suivantes :
-
Le VPC must have DNS Resolution = yes etDNS Hostnames = yes.
-
Ils VPC doivent également avoir DHCP des options avec la bonne domain-name pour Région AWS. Le jeu d'DHCPoptions par défaut spécifie déjà les éléments requis AmazonProvidedDNS. Si vous spécifiez plusieurs serveurs de noms de domaine, consultez les ensembles DHCP d'options du guide de VPC l'utilisateur Amazon. Lorsque vous utilisez des sous-réseaux privés, utilisez une NAT passerelle ou un proxy interne pour permettre l'accès Web aux nœuds de calcul. Pour de plus amples informations, veuillez consulter Configurations réseau.
Une fois que tous les paramètres contiennent les valeurs valides, vous pouvez lancer le cluster en exécutant la commande create.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Suivez la progression du cluster :
$ pcluster describe-cluster --cluster-name test-cluster
or
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Une fois que le cluster a atteint le "clusterStatus": "CREATE_COMPLETE" statut, vous pouvez vous y connecter en utilisant vos paramètres SSH client habituels. Pour plus d'informations sur la connexion aux EC2 instances Amazon, consultez le guide de EC2l'utilisateur Amazon dans le guide de EC2l'utilisateur Amazon. Ou vous pouvez connecter le cluster via
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Pour supprimer le cluster, exécutez la commande suivante.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Une fois le cluster supprimé, vous pouvez supprimer les ressources réseau qu'il contient en VPC supprimant la pile CloudFormation réseau. Le nom de la pile commence par « parallelclusternetworking- » et contient l'heure de création au format « ». YYYYMMDDHHMMSS Vous pouvez répertorier les piles à l'aide de la list-stackscommande.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
La pile peut être supprimée à l'aide de la delete-stackcommande.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
VPCCe qui est pcluster configure créé pour vous n'est pas créé dans la pile CloudFormation réseau. Vous pouvez le supprimer VPC manuellement dans la console ou à l'aide du AWS CLI.
$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
