Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration et création d'un cluster à l'aide de l'interface de ligne de AWS ParallelCluster commande
Après l'installation AWS ParallelCluster, effectuez les étapes de configuration suivantes.
Vérifiez que votre AWS compte possède un rôle qui inclut les autorisations nécessaires pour exécuter la pcluster CLI. Pour de plus amples informations, veuillez consulter AWS ParallelCluster exemples de politiques pcluster utilisateur.
Configurez vos AWS informations d'identification. Pour plus d'informations, consultez Configuration de l' AWS CLI dans le Guide de l'utilisateur de l'AWS CLI .
$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:
L' Région AWS endroit où le cluster est lancé doit comporter au moins une paire de EC2 clés Amazon. Pour plus d'informations, consultez les paires de clés Amazon Elastic Compute Cloud dans le guide de l'utilisateur d'Amazon Elastic Compute Cloud pour les instances Linux.
Lorsque vous utilisez l'interface de ligne de AWS ParallelCluster commande (CLI), vous ne payez que pour les AWS ressources créées lorsque vous créez ou mettez à jour AWS ParallelCluster des images et des clusters. Pour de plus amples informations, veuillez consulter AWS services utilisés par AWS ParallelCluster.
Configurez et créez votre premier cluster
Créez votre premier cluster à l'aide de la commande pcluster configure CLI pour lancer un assistant qui vous invite à saisir toutes les informations nécessaires à la configuration et à la création de votre cluster. Les détails de la séquence diffèrent lors de l'utilisation en AWS Batch tant que planificateur par rapport à l'utilisation Slurm.
- Slurm
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste des Régions AWS éléments affichés est basée sur la partition de votre compte et inclut uniquement Régions AWS les partitions activées pour votre compte. Pour plus d'informations sur l'activation Régions AWS de votre compte, consultez la section Gestion Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [ap-northeast-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon Elastic Compute Cloud dans la zone sélectionnée Région AWS. Choisissez la paire de clés :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Choisissez le système d'exploitation.
Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:
Choisissez le type d'instance du nœud principal :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Remarque : Le type d'instance ne peut pas être spécifié pour plusieurs ressources de calcul dans la même file d'attente.
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Permettez à EFA d'exécuter des applications nécessitant des niveaux élevés de communication entre instances à grande échelle AWS , sans frais supplémentaires :
Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Une fois les étapes précédentes terminées, décidez d'utiliser un VPC existant ou de laisser AWS ParallelCluster créer un VPC pour vous. Si vous ne disposez pas d'un VPC correctement configuré, vous AWS ParallelCluster pouvez en créer un nouveau pour vous. Il place soit les nœuds de tête et de calcul dans le même sous-réseau public, soit uniquement le nœud principal dans un sous-réseau public avec tous les nœuds de calcul dans un sous-réseau privé. Si vous autorisez la AWS ParallelCluster création d'un VPC, vous devez décider si tous les nœuds doivent se trouver dans un sous-réseau public. Pour de plus amples informations, veuillez consulter Configurations réseau.
Si vous configurez votre cluster pour utiliser des types d'instances dotés de plusieurs interfaces réseau ou d'une carte réseau, consultez Configurations réseau les exigences réseau supplémentaires.
Il est possible d'atteindre votre quota pour le nombre de personnes VPCs autorisées dans un Région AWS. Le quota par défaut est de cinq VPCs pour un Région AWS. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
VPCs créé par AWS ParallelCluster ne pas activer les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de votre. VPCs Pour plus d’informations, consultez la rubrique Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous autorisez la AWS ParallelCluster création d'un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir l'utiliser AWS CLI pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, décidez si vous souhaitez utiliser des sous-réseaux existants ou en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
- AWS Batch
-
$ pcluster configure --config config-file.yaml
Dans la liste des Région AWS identifiants valides, choisissez l' Région AWS endroit où vous souhaitez que votre cluster s'exécute.
La liste Régions AWS affichée est basée sur la partition de votre compte. Cela inclut uniquement Régions AWS ceux qui sont activés pour votre compte. Pour plus d'informations sur l'activation Régions AWS de votre compte, consultez la section Gestion Régions AWS dans le Références générales AWS. L'exemple présenté provient de la partition AWS globale. Si votre compte se trouve dans la AWS GovCloud (US) partition, seule Régions AWS cette partition est répertoriée (gov-us-east-1etgov-us-west-1). De même, si votre compte se trouve dans la partition AWS Chine, uniquement cn-north-1 et cn-northwest-1 s'affiche. Pour la liste complète des produits Régions AWS pris en charge par AWS ParallelCluster, voirRégions prises en charge pour AWS ParallelCluster.
Allowed values for Région AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Région AWS ID [us-east-1]:
La paire de clés est sélectionnée parmi les paires de clés enregistrées auprès d'Amazon EC2 dans le champ sélectionné Région AWS. Choisissez la paire de clés :
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Choisissez le planificateur à utiliser avec votre cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2
Lorsque awsbatch est sélectionné comme planificateur, alinux2 est utilisé comme système d'exploitation. Le type d'instance du nœud principal est saisi :
Head node instance type [t2.micro]:
Choisissez la configuration de la file d'attente. Le AWS Batch planificateur ne contient qu'une seule file d'attente. La taille maximale du cluster de nœuds de calcul est saisie. Ceci est mesuré en CPUs v.
Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:
Décidez si vous souhaitez utiliser l'existant VPCs ou laisser AWS ParallelCluster créer VPCs pour vous. Si vous n'avez pas de VPC correctement configuré, AWS ParallelCluster peut en créer un nouveau. Il utilise soit les nœuds de tête et de calcul du même sous-réseau public, soit uniquement le nœud principal d'un sous-réseau public avec tous les nœuds d'un sous-réseau privé. Il est possible d'atteindre votre quota en ce qui concerne le nombre de VPCs personnes autorisées dans une région. Le nombre par défaut VPCs est cinq. Pour plus d'informations sur ce quota et sur la manière de demander une augmentation, consultez la section VPC et sous-réseaux dans le guide de l'utilisateur Amazon VPC.
VPCs créé par AWS ParallelCluster ne pas activer les journaux de flux VPC par défaut. Les journaux de flux VPC vous permettent de capturer des informations sur le trafic IP à destination et en provenance des interfaces réseau de votre. VPCs Pour plus d’informations, consultez la rubrique Journaux de flux VPC dans le Guide de l’utilisateur Amazon VPC.
Si vous autorisez la AWS ParallelCluster création d'un VPC, assurez-vous de décider si tous les nœuds doivent se trouver dans un sous-réseau public.
Si vous le souhaitez1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster
crée une passerelle NAT qui entraîne des coûts supplémentaires, même si vous spécifiez des ressources de niveau gratuit.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized
Si vous ne créez pas de nouveau VPC, vous devez sélectionner un VPC existant.
Si vous choisissez de AWS ParallelCluster créer le VPC, notez l'ID du VPC afin de pouvoir utiliser le AWS CLI ou AWS Management Console pour le supprimer ultérieurement.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Une fois le VPC sélectionné, assurez-vous de décider d'utiliser les sous-réseaux existants ou d'en créer de nouveaux.
Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Lorsque vous avez terminé les étapes précédentes, un simple cluster est lancé dans un VPC. Le VPC utilise un sous-réseau existant qui prend en charge les adresses IP publiques. La table de routage pour le sous-réseau est0.0.0.0/0 => igw-xxxxxx. Notez les conditions suivantes :
-
Le VPC doit comporter les paramètres DNS Resolution = yes et DNS Hostnames = yes.
-
Le VPC doit également disposer d'options DHCP dont la valeur est correcte domain-name pour. Région AWS Le jeu d'options DHCP par défaut spécifie déjà les éléments requis AmazonProvidedDNS. Si vous spécifiez plusieurs serveurs de noms de domaine, consultez les ensembles d'options DHCP dans le guide de l'utilisateur Amazon VPC. Lorsque vous utilisez des sous-réseaux privés, utilisez une passerelle NAT ou un proxy interne pour permettre l'accès Web aux nœuds de calcul. Pour de plus amples informations, veuillez consulter Configurations réseau.
Une fois que tous les paramètres contiennent les valeurs valides, vous pouvez lancer le cluster en exécutant la commande create.
$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Suivez la progression du cluster :
$ pcluster describe-cluster --cluster-name test-cluster
or
$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'
Une fois que le cluster a atteint le "clusterStatus": "CREATE_COMPLETE" statut, vous pouvez vous y connecter en utilisant les paramètres habituels de votre client SSH. Pour plus d'informations sur la connexion aux EC2 instances Amazon, consultez le guide de EC2 l'utilisateur Amazon dans le guide de EC2 l'utilisateur Amazon. Ou vous pouvez connecter le cluster via
$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Pour supprimer le cluster, exécutez la commande suivante.
$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster
Une fois le cluster supprimé, vous pouvez supprimer les ressources réseau du VPC en supprimant la pile CloudFormation réseau. Le nom de la pile commence par « parallelclusternetworking- » et contient l'heure de création au format « YYYYMMDDHHMMSS ». Vous pouvez répertorier les piles à l'aide de la list-stackscommande.
$ aws --region us-east-1 cloudformation list-stacks \
--stack-status-filter "CREATE_COMPLETE" \
--query "StackSummaries[].StackName" | \
grep -e "parallelclusternetworking-"
"parallelclusternetworking-pubpriv-20191029205804"
La pile peut être supprimée à l'aide de la delete-stackcommande.
$ aws --region us-east-1 cloudformation delete-stack \
--stack-name parallelclusternetworking-pubpriv-20191029205804
Le VPC qui pcluster configure crée pour vous n'est pas créé dans la pile CloudFormation réseau. Vous pouvez supprimer ce VPC manuellement dans la console ou à l'aide du. AWS CLI
$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad
