Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
AWS ParallelCluster dans un seul sous-réseau sans accès à Internet
Un sous-réseau sans accès à Internet n'autorise pas les connexions entrantes ou sortantes vers Internet. Cette AWS ParallelCluster configuration peut aider les clients soucieux de la sécurité à renforcer davantage la sécurité de leurs ressources. AWS ParallelCluster AWS ParallelCluster les nœuds sont créés AWS ParallelCluster AMIs à partir de ceux-ci et incluent tous les logiciels nécessaires pour exécuter un cluster sans accès à Internet. De cette façon, AWS ParallelCluster vous pouvez créer et gérer des clusters avec des nœuds qui n'ont pas accès à Internet.
Dans cette section, vous découvrirez comment configurer le cluster. Vous découvrirez également les limites liées à l'exécution de clusters sans accès à Internet.
Configuration des points de VPC terminaison
Pour garantir le bon fonctionnement du cluster, les nœuds du cluster doivent être en mesure d'interagir avec un certain nombre de AWS services.
Créez et configurez les VPCpoints de terminaison suivants afin que les nœuds du cluster puissent interagir avec les AWS services, sans accès à Internet :
** Ce point de terminaison n'est requis que lorsqu'il DirectoryServiceest activé, sinon il est facultatif.
Toutes les instances du VPC doivent disposer de groupes de sécurité appropriés pour communiquer avec les points de terminaison. Vous pouvez le faire en ajoutant des groupes de sécurité AdditionalSecurityGroupssous HeadNodeet AdditionalSecurityGroupssous les SlurmQueuesconfigurations. Par exemple, si les VPC points de terminaison sont créés sans spécifier explicitement de groupe de sécurité, le groupe de sécurité par défaut est associé aux points de terminaison. En ajoutant le groupe de sécurité par défaut àAdditionalSecurityGroups
, vous activez la communication entre le cluster et les points de terminaison.
Note
Lorsque vous utilisez des IAM politiques pour restreindre l'accès aux VPC points de terminaison, vous devez ajouter les éléments suivants au point de VPC terminaison Amazon S3 :
PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: "*" Action: - "s3:PutObject" Resource: - !Sub "arn:${AWS::Partition}:s3:::cloudformation-waitcondition-${AWS::Region}/*"
Désactivez Route 53 et utilisez les noms d'EC2hôte Amazon
Lors de la création d'un Slurm cluster, AWS ParallelCluster crée une zone hébergée Route 53 privée qui est utilisée pour résoudre les noms d'hôte des nœuds de calcul personnalisés, tels que{queue_name}-{st|dy}-{compute_resource}-{N}
. Route 53 ne prenant pas en charge les VPC points de terminaison, cette fonctionnalité doit être désactivée. En outre, AWS ParallelCluster il doit être configuré pour utiliser les EC2 noms d'hôte Amazon par défaut, tels queip-1-2-3-4
. Appliquez les paramètres suivants à la configuration de votre cluster :
... Scheduling: ... SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true
Avertissement
Pour les clusters créés avec SlurmSettings/Dns/DisableManagedDnset UseEc2Hostnamesdéfinis surtrue
, le Slurm NodeName
n'est pas résolu par leDNS. Utilisez la commande Slurm NodeHostName
à la place.
Note
Cette note n'est pas pertinente à partir de AWS ParallelCluster la version 3.3.0.
Pour les versions AWS ParallelCluster prises en charge avant la version 3.3.0 :
Lorsqu'il UseEc2Hostnames
est défini surtrue
, le Slurm le fichier de configuration est défini avec les epilog
scripts AWS ParallelCluster prolog
et :
-
prolog
s'exécute pour ajouter des informations/etc/hosts
sur les nœuds aux nœuds de calcul lorsque chaque tâche est allouée. -
epilog
s'exécute pour nettoyer le contenu écrit parprolog
.
Pour ajouter des epilog
scripts personnalisés prolog
ou personnalisés, ajoutez-les respectivement aux /opt/slurm/etc/pcluster/epilog.d/
dossiers /opt/slurm/etc/pcluster/prolog.d/
or.
Configuration du cluster
Découvrez comment configurer votre cluster pour qu'il s'exécute dans un sous-réseau sans connexion Internet.
La configuration de cette architecture nécessite les paramètres suivants :
# Note that all values are only provided as examples ... HeadNode: ... Networking: SubnetId: subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints AdditionalSecurityGroups: - sg-abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints Scheduling: Scheduler: Slurm # Cluster in a subnet without internet access is supported only when the scheduler is Slurm. SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true SlurmQueues: - ... Networking: SubnetIds: - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached AdditionalSecurityGroups: - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
-
SubnetId(s): le sous-réseau sans accès à Internet.
Pour permettre la communication entre AWS ParallelCluster et les AWS services, les VPC points VPC de terminaison doivent être attachés au sous-réseau. Avant de créer votre cluster, vérifiez que l'attribution automatique de l'IPv4adresse publique est désactivée dans le sous-réseau pour garantir que les
pcluster
commandes ont accès au cluster. -
AdditionalSecurityGroups: le groupe de sécurité qui permet la communication entre le cluster et les VPC points de terminaison.
Facultatif :
-
Si les VPC points de terminaison sont créés sans spécifier explicitement de groupe de sécurité, le groupe de sécurité par défaut VPC est associé. Indiquez donc le groupe de sécurité par défaut à
AdditionalSecurityGroups
. -
Si des groupes de sécurité personnalisés sont utilisés lors de la création du cluster et/ou des VPC points de terminaison, cela n'
AdditionalSecurityGroups
est pas nécessaire tant que les groupes de sécurité personnalisés permettent la communication entre le cluster et les points de VPC terminaison.
-
-
Scheduler: Le planificateur de clusters.
slurm
est la seule valeur valide. Seul le Slurm le planificateur prend en charge un cluster dans un sous-réseau sans accès à Internet. -
SlurmSettings: Le Slurm paramètres.
Consultez la section précédente Désactiver Route53 et utiliser les noms d'hôte Amazon EC2.
Limites
-
Connexion au nœud principal via SSH Amazon DCV : lors de la connexion à un cluster, assurez-vous que le client de la connexion peut atteindre le nœud principal du cluster via son adresse IP privée. Si le client ne se trouve pas dans le même VPC emplacement que le nœud principal, utilisez une instance de proxy dans un sous-réseau public duVPC. Cette exigence s'applique à la fois aux DCV connexions SSH et aux connexions. L'adresse IP publique d'un nœud principal n'est pas accessible si le sous-réseau n'a pas accès à Internet. Les
dcv-connect
commandespcluster ssh
et utilisent l'adresse IP publique si elle existe ou l'adresse IP privée. Avant de créer votre cluster, vérifiez que l'attribution automatique de l'IPv4adresse publique est désactivée dans le sous-réseau pour garantir que lespcluster
commandes ont accès au cluster.L'exemple suivant montre comment vous connecter à une DCV session exécutée dans le nœud principal de votre cluster. Vous vous connectez via une EC2 instance Amazon proxy. L'instance fonctionne en tant que DCV serveur Amazon pour votre PC et en tant que client pour le nœud principal du sous-réseau privé.
Connectez-vous DCV via une instance de proxy dans un sous-réseau public :
-
Créez une EC2 instance Amazon dans un sous-réseau public, qui est VPC identique au sous-réseau du cluster.
-
Assurez-vous que le DCV client et le serveur Amazon sont installés sur votre EC2 instance Amazon.
-
Attachez une politique AWS ParallelCluster utilisateur à l'EC2instance Amazon proxy. Pour de plus amples informations, veuillez consulter AWS ParallelCluster exemples de politiques pcluster utilisateur.
-
Installez AWS ParallelCluster sur l'EC2instance Amazon proxy.
-
Connectez-vous DCV à l'EC2instance Amazon proxy.
-
Utilisez la
pcluster dcv-connect
commande sur l'instance de proxy pour vous connecter au cluster à l'intérieur du sous-réseau sans accès à Internet.
-
-
Interaction avec d'autres AWS services : seuls les services strictement requis par AWS ParallelCluster sont répertoriés ci-dessus. Si votre cluster doit interagir avec d'autres services, créez les VPC points de terminaison correspondants.