Configure y cree un clúster con la interfaz de línea de AWS ParallelCluster comandos - AWS ParallelCluster
Creación y configuración de su primer clúster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configure y cree un clúster con la interfaz de línea de AWS ParallelCluster comandos

Tras la instalación AWS ParallelCluster, complete los siguientes pasos de configuración.

Compruebe que su AWS cuenta tiene un rol que incluya los permisos necesarios para ejecutar el pclusterCLI. Para obtener más información, consulte AWS ParallelCluster ejemplos pcluster de políticas de usuario.

Configura tus AWS credenciales. Para obtener más información, consulte Configuración de AWS CLI en la Guía del usuario de AWS CLI .

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

El Región de AWS lugar donde se lanza el clúster debe tener al menos un par de EC2 claves de Amazon. Para obtener más información, consulte los pares de claves de Amazon Elastic Compute Cloud en la Guía del usuario de Amazon Elastic Compute Cloud para instancias de Linux.

Al utilizar la interfaz de línea de AWS ParallelCluster comandos (CLI), solo paga por los AWS recursos que se crean al crear o actualizar AWS ParallelCluster imágenes y clústeres. Para obtener más información, consulte AWS servicios utilizados por AWS ParallelCluster.

Creación y configuración de su primer clúster

Cree su primer clúster mediante el pcluster configure CLI comando para iniciar un asistente que le solicitará toda la información necesaria para configurar y crear el clúster. Los detalles de la secuencia difieren cuando se usa AWS Batch como planificador en comparación con cuando se usa Slurm.

Slurm
$  pcluster configure --config config-file.yaml

En la lista de Región de AWS identificadores válidos, elija el Región de AWS lugar en el que desea que se ejecute el clúster.

nota

La lista que Regiones de AWS se muestra se basa en la partición de su cuenta y solo incluye las Regiones de AWS que están habilitadas para su cuenta. Para obtener más información sobre cómo habilitar Regiones de AWS su cuenta, consulte Administrar Regiones de AWS en Referencia general de AWS. El ejemplo que se muestra es de la partición AWS global. Si su cuenta está en la AWS GovCloud (US) partición, solo aparecerá Regiones de AWS en esa partición (gov-us-east-1ygov-us-west-1). Del mismo modo, si tu cuenta está en la partición de AWS China, solo cn-north-1 cn-northwest-1 se muestran. Para ver la lista completa de las Regiones de AWS admitidas por AWS ParallelCluster, consulteRegiones compatibles para AWS ParallelCluster.

Allowed values for Región de AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Región de AWS ID [ap-northeast-1]:

El par de claves se selecciona de entre los pares de claves que están registrados en Amazon Elastic Compute Cloud en la unidad seleccionada Región de AWS. Elija el par de claves:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Elija el programador que desea utilizar con el clúster.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

Elija el sistema operativo.

Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:

Elija el tipo de instancia del nodo principal:

Head node instance type [t2.micro]:

Elija la configuración de la cola. Nota: El tipo de instancia no se puede especificar para varios recursos de computación de la misma cola.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Permite EFA ejecutar aplicaciones que requieran altos niveles de comunicación entre instancias de forma escalable y sin AWS coste adicional:

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Una vez completados los pasos anteriores, decida si desea utilizar uno existente VPC o dejar que AWS ParallelCluster cree uno VPC por usted. Si no tiene uno configurado correctamenteVPC, AWS ParallelCluster puede crear uno nuevo para usted. Coloca tanto el nodo principal como los de computación de la misma subred pública, o solo el nodo principal en una subred pública con todos los nodos de computación en una subred privada. Si permite AWS ParallelCluster crear unaVPC, debe decidir si todos los nodos deben estar en una subred pública. Para obtener más información, consulte Configuraciones de red.

Si configura el clúster para usar tipos de instancias que tienen varias interfaces de red o una tarjeta de red, consulte Configuraciones de red para conocer los requisitos de red adicionales.

Es posible alcanzar tu cuota para el número de VPCs permitidos en una Región de AWS. La cuota predeterminada es cinco VPCs para un Región de AWS. Para obtener más información sobre esta cuota y sobre cómo solicitar un aumento, consulta VPClas subredes en la Guía del VPC usuario de Amazon.

importante

VPCscreado por AWS ParallelCluster do not enable VPC Flow Logs de forma predeterminada. VPCLos registros de flujo le permiten capturar información sobre el tráfico IP que entra y sale de las interfaces de red de suVPCs. Para obtener más información, consulta VPCFlow Logs en la Guía del VPC usuario de Amazon.

Si permite AWS ParallelCluster crear unaVPC, asegúrese de decidir si todos los nodos deben estar en una subred pública.

nota

Si lo desea1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster crea una NAT puerta de enlace que se traduce en un coste adicional, incluso si especifica los recursos de la capa gratuita.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Si no crea una nuevaVPC, debe seleccionar una existenteVPC.

Si opta por AWS ParallelCluster crear elVPC, anote el VPC ID para poder usarlo y AWS CLI eliminarlo más adelante.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Una VPC vez seleccionada, decida si desea utilizar las subredes existentes o crear subredes nuevas.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

En la lista de Región de AWS identificadores válidos, elija el Región de AWS lugar en el que desea que se ejecute el clúster.

nota

La lista que Regiones de AWS se muestra se basa en la partición de su cuenta. Solo incluye las Regiones de AWS que están habilitadas para su cuenta. Para obtener más información sobre cómo habilitar Regiones de AWS su cuenta, consulte Administrar Regiones de AWS en Referencia general de AWS. El ejemplo que se muestra es de la partición AWS global. Si su cuenta está en la AWS GovCloud (US) partición, solo aparecerá Regiones de AWS en esa partición (gov-us-east-1ygov-us-west-1). Del mismo modo, si tu cuenta está en la partición de AWS China, solo cn-north-1 cn-northwest-1 se muestran. Para ver la lista completa de las Regiones de AWS admitidas por AWS ParallelCluster, consulteRegiones compatibles para AWS ParallelCluster.

Allowed values for Región de AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Región de AWS ID [us-east-1]:

El par de claves se selecciona entre los pares de claves registrados EC2 en Amazon en la seleccionada Región de AWS. Elija el par de claves:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Elija el programador que desea utilizar con el clúster.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Cuando awsbatch se selecciona como programador, alinux2 se utiliza como sistema operativo. Se especifica el tipo de instancia del nodo principal:

Head node instance type [t2.micro]:

Elija la configuración de la cola. El AWS Batch planificador solo contiene una cola única. Se especifica el tamaño máximo del clúster de nodos de computación. Esto se mide en. vCPUs

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Decide si quieres usar lo existente VPCs o dejar que AWS ParallelCluster cree VPCs por ti. Si no tiene uno configurado correctamenteVPC, AWS ParallelCluster puede crear uno nuevo. Usa tanto el nodo principal como los de computación de la misma subred pública, o solo el nodo principal en una subred pública con todos los nodos en una subred privada. Es posible alcanzar tu cuota con el número de personas VPCs permitidas en una región. El número predeterminado VPCs es cinco. Para obtener más información sobre esta cuota y sobre cómo solicitar un aumento, consulta VPClas subredes en la Guía del VPC usuario de Amazon.

importante

VPCscreado por AWS ParallelCluster do not enable VPC Flow Logs de forma predeterminada. VPCLos registros de flujo le permiten capturar información sobre el tráfico IP que entra y sale de las interfaces de red de suVPCs. Para obtener más información, consulta VPCFlow Logs en la Guía del VPC usuario de Amazon.

Si permite AWS ParallelCluster crear unaVPC, asegúrese de decidir si todos los nodos deben estar en una subred pública.

nota

Si lo desea1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster crea una NAT puerta de enlace que se traduce en un coste adicional, incluso si especifica los recursos de la capa gratuita.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Si no crea una nuevaVPC, debe seleccionar una existenteVPC.

Si opta por AWS ParallelCluster crear elVPC, anote el VPC ID para poder usarlo AWS CLI o AWS Management Console para eliminarlo más adelante.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Una vez VPC seleccionado el, asegúrese de decidir si desea utilizar las subredes existentes o crear nuevas.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Cuando haya completado los pasos anteriores, un clúster simple se inicia en unVPC. VPCUtiliza una subred existente que admite direcciones IP públicas. La tabla de enrutamiento de la subred es 0.0.0.0/0 => igw-xxxxxx. Tenga en cuenta las siguientes condiciones:

  • VPCImprescindible DNS Resolution = yes y. DNS Hostnames = yes

  • También VPC debe tener DHCP opciones con la correcta domain-name para Región de AWS. El conjunto de DHCP opciones por defecto ya especifica lo necesario AmazonProvidedDNS. Si especificas más de un servidor de nombres de dominio, consulta los conjuntos de DHCP opciones en la Guía del VPC usuario de Amazon. Cuando utilice subredes privadas, utilice una NAT puerta de enlace o un proxy interno para permitir el acceso web a los nodos de cómputo. Para obtener más información, consulte Configuraciones de red.

Cuando todas las opciones tengan valores válidos, podrá lanzar el clúster ejecutando el comando create.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Siga el progreso del clúster: 

$ pcluster describe-cluster --cluster-name test-cluster

o 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Una vez que el clúster alcance el "clusterStatus": "CREATE_COMPLETE" estado, podrás conectarte a él mediante la configuración de SSH cliente normal. Para obtener más información sobre la conexión a EC2 las instancias de Amazon, consulta la Guía del EC2usuario de Amazon en la Guía del EC2usuario de Amazon. O bien, puede conectar el clúster mediante 

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Ejecute el siguiente comando para eliminar el clúster.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Una vez eliminado el clúster, puede eliminar los recursos de red del mismo VPC borrando la pila CloudFormation de redes. El nombre de la pila comienza por «parallelclusternetworking-» y contiene la hora de creación en formato «». YYYYMMDDHHMMSS Puede enumerar las pilas mediante el comando list-stacks.

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

La pila se puede eliminar mediante el comando delete-stack.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

Lo VPC que pcluster configure crea para usted no se crea en la pila de redes. CloudFormation Puede eliminarlo VPC manualmente en la consola o mediante el AWS CLI.

$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad