AWS ParallelCluster dans un seul sous-réseau sans accès à Internet - AWS ParallelCluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS ParallelCluster dans un seul sous-réseau sans accès à Internet

Un sous-réseau sans accès à Internet n'autorise pas les connexions entrantes ou sortantes vers Internet. Cette AWS ParallelCluster configuration peut aider les clients soucieux de la sécurité à renforcer davantage la sécurité de leurs ressources. AWS ParallelCluster AWS ParallelCluster les nœuds sont créés AWS ParallelCluster AMIs à partir de ceux-ci et incluent tous les logiciels nécessaires pour exécuter un cluster sans accès à Internet. De cette façon, AWS ParallelCluster vous pouvez créer et gérer des clusters avec des nœuds qui n'ont pas accès à Internet.

Dans cette section, vous découvrirez comment configurer le cluster. Vous découvrirez également les limites liées à l'exécution de clusters sans accès à Internet.

AWS ParallelCluster en utilisant un sous-réseau et sans Internet

Configuration des points de VPC terminaison

Pour garantir le bon fonctionnement du cluster, les nœuds du cluster doivent être en mesure d'interagir avec un certain nombre de AWS services.

Créez et configurez les VPCpoints de terminaison suivants afin que les nœuds du cluster puissent interagir avec les AWS services, sans accès à Internet :

Commercial and AWS GovCloud (US) partitions
Service Nom du service Type

Amazon CloudWatch

com.amazonaws.region-id.journaux

utilisateur

AWS CloudFormation

com.amazonaws.region-idcloudformation.

utilisateur

Amazon EC2

com.amazonaws.region-idec2.

utilisateur

Amazon S3

com.amazonaws.region-ids3.

Passerelle

Amazon DynamoDB

com.amazonaws.region-iddynamodb.

Passerelle

AWS Secrets Manager**

com.amazonaws.region-idsecretsmanager.

utilisateur

China partition
Service Nom du service Type

Amazon CloudWatch

com.amazonaws.region-id.journaux

utilisateur

AWS CloudFormation

cn.com.amazonaws.region-idcloudformation.

utilisateur

Amazon EC2

cn.com.amazonaws.region-idec2.

utilisateur

Amazon S3

com.amazonaws.region-ids3.

Passerelle

Amazon DynamoDB

com.amazonaws.region-iddynamodb.

Passerelle

AWS Secrets Manager**

com.amazonaws.region-idsecretsmanager.

utilisateur

** Ce point de terminaison n'est requis que lorsqu'il DirectoryServiceest activé, sinon il est facultatif.

Toutes les instances du VPC doivent disposer de groupes de sécurité appropriés pour communiquer avec les points de terminaison. Vous pouvez le faire en ajoutant des groupes de sécurité AdditionalSecurityGroupssous HeadNodeet AdditionalSecurityGroupssous les SlurmQueuesconfigurations. Par exemple, si les VPC points de terminaison sont créés sans spécifier explicitement de groupe de sécurité, le groupe de sécurité par défaut est associé aux points de terminaison. En ajoutant le groupe de sécurité par défaut àAdditionalSecurityGroups, vous activez la communication entre le cluster et les points de terminaison.

Note

Lorsque vous utilisez des IAM politiques pour restreindre l'accès aux VPC points de terminaison, vous devez ajouter les éléments suivants au point de VPC terminaison Amazon S3 :

PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: "*" Action: - "s3:PutObject" Resource: - !Sub "arn:${AWS::Partition}:s3:::cloudformation-waitcondition-${AWS::Region}/*"

Désactivez Route 53 et utilisez les noms d'EC2hôte Amazon

Lors de la création d'un Slurm cluster, AWS ParallelCluster crée une zone hébergée Route 53 privée qui est utilisée pour résoudre les noms d'hôte des nœuds de calcul personnalisés, tels que{queue_name}-{st|dy}-{compute_resource}-{N}. Route 53 ne prenant pas en charge les VPC points de terminaison, cette fonctionnalité doit être désactivée. En outre, AWS ParallelCluster il doit être configuré pour utiliser les EC2 noms d'hôte Amazon par défaut, tels queip-1-2-3-4. Appliquez les paramètres suivants à la configuration de votre cluster :

... Scheduling: ... SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true
Avertissement

Pour les clusters créés avec SlurmSettings/Dns/DisableManagedDnset UseEc2Hostnamesdéfinis surtrue, le Slurm NodeNamen'est pas résolu par leDNS. Utilisez la commande Slurm NodeHostNameà la place.

Note

Cette note n'est pas pertinente à partir de AWS ParallelCluster la version 3.3.0.

Pour les versions AWS ParallelCluster prises en charge avant la version 3.3.0 :

Lorsqu'il UseEc2Hostnames est défini surtrue, le Slurm le fichier de configuration est défini avec les epilog scripts AWS ParallelCluster prolog et :

  • prologs'exécute pour ajouter des informations /etc/hosts sur les nœuds aux nœuds de calcul lorsque chaque tâche est allouée.

  • epilogs'exécute pour nettoyer le contenu écrit parprolog.

Pour ajouter des epilog scripts personnalisés prolog ou personnalisés, ajoutez-les respectivement aux /opt/slurm/etc/pcluster/epilog.d/ dossiers /opt/slurm/etc/pcluster/prolog.d/ or.

Configuration du cluster

Découvrez comment configurer votre cluster pour qu'il s'exécute dans un sous-réseau sans connexion Internet.

La configuration de cette architecture nécessite les paramètres suivants :

# Note that all values are only provided as examples ... HeadNode: ... Networking: SubnetId: subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints AdditionalSecurityGroups: - sg-abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints Scheduling: Scheduler: Slurm # Cluster in a subnet without internet access is supported only when the scheduler is Slurm. SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true SlurmQueues: - ... Networking: SubnetIds: - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached AdditionalSecurityGroups: - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
  • SubnetId(s): le sous-réseau sans accès à Internet.

    Pour permettre la communication entre AWS ParallelCluster et les AWS services, les VPC points VPC de terminaison doivent être attachés au sous-réseau. Avant de créer votre cluster, vérifiez que l'attribution automatique de l'IPv4adresse publique est désactivée dans le sous-réseau pour garantir que les pcluster commandes ont accès au cluster.

  • AdditionalSecurityGroups: le groupe de sécurité qui permet la communication entre le cluster et les VPC points de terminaison.

    Facultatif :

    • Si les VPC points de terminaison sont créés sans spécifier explicitement de groupe de sécurité, le groupe de sécurité par défaut VPC est associé. Indiquez donc le groupe de sécurité par défaut àAdditionalSecurityGroups.

    • Si des groupes de sécurité personnalisés sont utilisés lors de la création du cluster et/ou des VPC points de terminaison, cela n'AdditionalSecurityGroupsest pas nécessaire tant que les groupes de sécurité personnalisés permettent la communication entre le cluster et les points de VPC terminaison.

  • Scheduler: Le planificateur de clusters.

    slurmest la seule valeur valide. Seul le Slurm le planificateur prend en charge un cluster dans un sous-réseau sans accès à Internet.

  • SlurmSettings: Le Slurm paramètres.

    Consultez la section précédente Désactiver Route53 et utiliser les noms d'hôte Amazon EC2.

Limites

  • Connexion au nœud principal via SSH Amazon DCV : lors de la connexion à un cluster, assurez-vous que le client de la connexion peut atteindre le nœud principal du cluster via son adresse IP privée. Si le client ne se trouve pas dans le même VPC emplacement que le nœud principal, utilisez une instance de proxy dans un sous-réseau public duVPC. Cette exigence s'applique à la fois aux DCV connexions SSH et aux connexions. L'adresse IP publique d'un nœud principal n'est pas accessible si le sous-réseau n'a pas accès à Internet. Les dcv-connect commandes pcluster ssh et utilisent l'adresse IP publique si elle existe ou l'adresse IP privée. Avant de créer votre cluster, vérifiez que l'attribution automatique de l'IPv4adresse publique est désactivée dans le sous-réseau pour garantir que les pcluster commandes ont accès au cluster.

    L'exemple suivant montre comment vous connecter à une DCV session exécutée dans le nœud principal de votre cluster. Vous vous connectez via une EC2 instance Amazon proxy. L'instance fonctionne en tant que DCV serveur Amazon pour votre PC et en tant que client pour le nœud principal du sous-réseau privé.

    Connectez-vous DCV via une instance de proxy dans un sous-réseau public :

    1. Créez une EC2 instance Amazon dans un sous-réseau public, qui est VPC identique au sous-réseau du cluster.

    2. Assurez-vous que le DCV client et le serveur Amazon sont installés sur votre EC2 instance Amazon.

    3. Attachez une politique AWS ParallelCluster utilisateur à l'EC2instance Amazon proxy. Pour de plus amples informations, veuillez consulter AWS ParallelCluster exemples de politiques pcluster utilisateur.

    4. Installez AWS ParallelCluster sur l'EC2instance Amazon proxy.

    5. Connectez-vous DCV à l'EC2instance Amazon proxy.

    6. Utilisez la pcluster dcv-connect commande sur l'instance de proxy pour vous connecter au cluster à l'intérieur du sous-réseau sans accès à Internet.

  • Interaction avec d'autres AWS services : seuls les services strictement requis par AWS ParallelCluster sont répertoriés ci-dessus. Si votre cluster doit interagir avec d'autres services, créez les VPC points de terminaison correspondants.