Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création d'un cluster dans AWS Parallel Computing Service
Cette rubrique fournit une vue d'ensemble des options disponibles et décrit les éléments à prendre en compte lors de la création d'un cluster dans AWS Parallel Computing Service (AWS PCS). Si c'est la première fois que vous créez un cluster AWS PCS, nous vous recommandons de suivreCommencez avec AWS Parallel Computing Service. Le didacticiel peut vous aider à créer un système HPC fonctionnel sans étendre toutes les options disponibles et les architectures système possibles.
Prérequis
Création d'un cluster AWS PCS
Vous pouvez utiliser le AWS Management Console ou AWS CLI pour créer un cluster.
- AWS Management Console
-
Pour créer un cluster
-
Ouvrez la console AWS PCS à l'adresse https://console.aws.amazon.com/pcs/home#/clusters et choisissez Create cluster.
-
Dans la section Configuration du cluster, entrez les champs suivants :
-
Nom du cluster : nom de votre cluster. Un nom ne peut contenir que des caractères alphanumériques (sensibles à la casse) et des traits d'union. Il doit commencer par un caractère alphabétique et ne doit pas dépasser 40 caractères. Le nom doit être unique dans le Région AWS et dans Compte AWS lequel vous créez le cluster.
-
Planificateur : choisissez un planificateur et une version. AWS PCS prend actuellement en charge Slurm 24.05 et 23.11. Pour de plus amples informations, veuillez consulter Versions Slurm en PCS AWS.
-
Taille de la manette — Choisissez une taille pour votre manette. Cela détermine le nombre de tâches simultanées et de nœuds de calcul pouvant être gérés par le cluster AWS PCS. Vous ne pouvez définir la taille du contrôleur que lorsque le cluster est créé. Pour plus d'informations sur le dimensionnement, voirTaille du cluster en AWS PCS.
-
Dans la section Mise en réseau, sélectionnez des valeurs pour les champs suivants :
-
VPC — Choisissez un VPC existant qui répond aux exigences du PCS. AWS Pour de plus amples informations, veuillez consulter AWS Exigences et considérations relatives au VPC et aux sous-réseaux PCS. Après avoir créé le cluster, vous ne pouvez pas modifier son VPC. Si aucun VPCs n'est répertorié, vous devez d'abord en créer un.
-
Sous-réseau : tous les sous-réseaux disponibles dans le VPC sélectionné sont répertoriés. Choisissez un sous-réseau qui répond aux exigences du sous-réseau AWS PCS. Pour de plus amples informations, veuillez consulter AWS Exigences et considérations relatives au VPC et aux sous-réseaux PCS. Nous vous recommandons de sélectionner un sous-réseau privé pour éviter d'exposer les points de terminaison de votre planificateur à l'Internet public.
-
Groupes de sécurité — Spécifiez le ou les groupes de sécurité que vous souhaitez que AWS PCS associe aux interfaces réseau qu'il crée pour votre cluster. Vous devez sélectionner au moins un groupe de sécurité qui autorise la communication entre votre cluster et ses nœuds de calcul. Pour de plus amples informations, veuillez consulter Exigences et considérations relatives aux groupes de sécurité.
-
(Facultatif) Sous Chiffrement, vous pouvez définir une clé personnalisée pour chiffrer les données de votre contrôleur en définissant les champs suivants :
-
(Facultatif) Dans la section Configuration de Slurm, vous pouvez spécifier les options de configuration de Slurm qui remplacent les valeurs par défaut définies par PCS : AWS
-
Diminution du temps d'inactivité : cela permet de contrôler la durée pendant laquelle les nœuds de calcul provisionnés dynamiquement restent actifs après la fin ou la fin des tâches qui leur ont été confiées. Si vous définissez cette valeur sur une valeur plus longue, il est plus probable qu'une tâche ultérieure puisse être exécutée sur le nœud, mais cela peut entraîner une augmentation des coûts. Une valeur plus courte réduira les coûts, mais peut augmenter la proportion de temps que votre système HPC passe à provisionner des nœuds par rapport à l'exécution de tâches sur ceux-ci.
-
Prolog — Il s'agit d'un chemin complet vers un répertoire de scripts prolog sur les instances de votre groupe de nœuds de calcul. Cela correspond au paramètre Prolog dans Slurm. Notez qu'il doit s'agir d'un répertoire et non d'un chemin vers un exécutable spécifique.
-
Epilog : il s'agit d'un chemin complet vers un répertoire de scripts epilog sur les instances de votre groupe de nœuds de calcul. Cela correspond au paramètre Epilog dans Slurm. Notez qu'il doit s'agir d'un répertoire et non d'un chemin vers un exécutable spécifique.
-
Paramètres du type de sélection : cela permet de contrôler l'algorithme de sélection des ressources utilisé par Slurm. Le fait de définir cette valeur sur CR_CPU_Memory
activera la planification basée sur la mémoire, tandis que la définition sur CR_CPU
activera la planification uniquement pour le processeur. Ce paramètre correspond au SelectTypeParametersréglage dans Slurm où il SelectType
est défini sur select/cons_tres
par AWS PCS.
-
(Facultatif) Sous Balises, ajoutez des balises à votre cluster AWS PCS.
-
Choisissez Créer un cluster. Le champ Status s'affiche Creating
lorsque le AWS PCS crée le cluster. Ce processus peut prendre plusieurs minutes.
Il ne peut y avoir qu'un seul cluster Région AWS
par Creating
état Compte AWS. AWS PCS renvoie une erreur s'il existe déjà un cluster dans un Creating
état lorsque vous essayez de créer un cluster.
- AWS CLI
-
Pour créer un cluster
-
Créez votre cluster à l'aide de la commande suivante. Avant d'exécuter la commande, effectuez les remplacements suivants :
-
region
Remplacez-le par l'ID dans Région AWS lequel vous souhaitez créer votre cluster, tel queus-east-1
.
-
Remplacez my-cluster
par un nom pour votre cluster. Un nom ne peut contenir que des caractères alphanumériques (sensibles à la casse) et des traits d'union. Il doit commencer par un caractère alphabétique et ne doit pas dépasser 40 caractères. Le nom doit être unique dans le cluster Région AWS et dans Compte AWS lequel vous créez le cluster.
-
24.05
Remplacez-le par n'importe quelle version compatible de Slurm.
AWS PCS prend actuellement en charge Slurm 24.05 et 23.11.
-
Remplacez-le SMALL
par n'importe quelle taille de cluster prise en charge. Cela détermine le nombre de tâches simultanées et de nœuds de calcul pouvant être gérés par le cluster AWS PCS. Il ne peut être défini que lors de la création du cluster. Pour plus d'informations sur le dimensionnement, voirTaille du cluster en AWS PCS.
-
Remplacez la valeur de subnetIds
par la vôtre. Nous vous recommandons de sélectionner un sous-réseau privé pour éviter d'exposer les points de terminaison de votre planificateur à l'Internet public.
-
Spécifiez securityGroupIds
ce que vous souhaitez que le AWS PCS associe aux interfaces réseau qu'il crée pour votre cluster. Les groupes de sécurité doivent se trouver dans le même VPC que le cluster. Vous devez sélectionner au moins un groupe de sécurité qui autorise la communication entre votre cluster et ses nœuds de calcul. Pour de plus amples informations, veuillez consulter Exigences et considérations relatives aux groupes de sécurité.
-
Vous pouvez éventuellement affiner le comportement de Slurm en ajoutant une option. --slurm-configration
Par exemple, vous pouvez réduire le temps d'inactivité à 60 minutes (3 600 secondes) avec. --slurm configuration
scaleDownIdeTime=3600
-
Vous pouvez éventuellement fournir une clé KMS personnalisée pour chiffrer les données de votre contrôleur à l'aide --kms-key-id kms-key
de. kms-key
Remplacez-le par un ARN, un ID de clé ou un alias KMS existant. Notez que le compte utilisé pour créer le cluster doit disposer de kms:Decrypt
privilèges sur la clé KMS personnalisée.
aws pcs create-cluster --region region
\
--cluster-name my-cluster
\
--scheduler type=SLURM,version=24.05
\
--size SMALL
\
--networking subnetIds=subnet-ExampleId1
,securityGroupIds=sg-ExampleId1
-
Le provisionnement du cluster peut prendre plusieurs minutes. Vous pouvez vérifier le statut de votre cluster avec la commande suivante. Ne créez pas de files d'attente ou de groupes de nœuds de calcul tant que le champ d'état du cluster n'est ACTIVE
pas indiqué.
aws pcs get-cluster --region region
--cluster-identifier my-cluster
Il ne peut y avoir qu'un seul cluster Région AWS
par Creating
état Compte AWS. AWS PCS renvoie une erreur s'il existe déjà un cluster dans un Creating
état lorsque vous essayez de créer un cluster.
Prochaines étapes recommandées pour votre cluster
-
Ajoutez des groupes de nœuds de calcul.
-
Ajoutez des files d'attente.
-
Activez la journalisation