Configuración de varias colas - AWS ParallelCluster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuración de varias colas

Con AWS ParallelCluster la versión 3, puede configurar varias colas estableciendo slurm y especificando más de una cola para SlurmQueues en el archivo de configuración. Scheduler En este modo, coexisten diferentes tipos de instancias en los nodos de computación que se especifican en la sección ComputeResources del archivo de configuración. ComputeResources con diferentes tipos de instancias se escalan o reducen verticalmente según sea necesario para SlurmQueues.

Cuotas de recursos de computación y de colas de clúster
Recurso Cuota

Slurm queues

50 colas por clúster

Compute resources

50 recursos de computación por cola

50 recursos de computación por clúster

Recuentos de nodos

Cada recurso de computación de ComputeResources para una cola debe tener valores de Name, InstanceType, MinCount y MaxCount únicos. MinCount y MaxCount tienen valores predeterminados que definen el rango de instancias de un recurso de computación de ComputeResources para una cola. También puede especificar sus propios valores para MinCount y MaxCount. Cada recurso de computación en ComputeResources está compuesto por nodos estáticos numerados del 1 al valor de MinCount y nodos dinámicos numerados del valor de MinCount al valor de MaxCount.

Configuración de ejemplo

A continuación, se muestra un ejemplo de una sección de programación para un archivo de configuración de clúster. En esta configuración, hay dos colas denominadas queue1 y queue2 y cada una de ellas tiene un ComputeResources con un MaxCount especificado.

Scheduling:
  Scheduler: slurm
  SlurmQueues:
  - Name: queue1
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge
    - InstanceType: c4.xlarge
      MaxCount: 5
      Name: c4xlarge
  - Name: queue2
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge

Nombres de hosts

Las instancias que se lanzan a la flota de computación se asignan de forma dinámica. Se generan nombres de host para cada nodo. De forma predeterminada AWS ParallelCluster , utilizará el siguiente formato de nombre de host:

$HOSTNAME=$QUEUE-$STATDYN-$COMPUTE_RESOURCE-$NODENUM

  • $QUEUE es el nombre de la cola. Por ejemplo, si la sección SlurmQueues tiene una entrada con el valor Name establecido en “queue-name”, entonces “$QUEUE” es “queue-name”.

  • $STATDYN es st para nodos estáticos o dy para dinámicos.

  • $COMPUTE_RESOURCE es el Name del recurso de computación ComputeResources correspondiente a este nodo.

  • $NODENUM es el número del nodo. $NODENUM está entre uno (1) y el valor de MinCount para los nodos estáticos y entre uno (1) y MaxCount-MinCount para los dinámicos.

En el ejemplo del archivo de configuración anterior, un nodo determinado de queue1 y un recurso de computación c5xlarge tiene como nombre de host: queue1-dy-c5xlarge-1.

Tanto los nombres de host como los nombres de dominio completos (FQDN) se crean mediante las zonas alojadas de Amazon Route 53. El FQDN es$HOSTNAME.$CLUSTERNAME.pcluster, donde $CLUSTERNAME es el nombre del clúster.

Tenga en cuenta que se utilizará el mismo formato para Slurm también los nombres de los nodos.

Los usuarios pueden optar por utilizar el EC2 nombre de host de Amazon predeterminado de la instancia que alimenta el nodo de procesamiento en lugar del formato de nombre de host predeterminado que utiliza. AWS ParallelCluster Esto se puede hacer configurando el UseEc2Hostnamesparámetro para que sea verdadero. Sin embargo, Slurm los nombres de los nodos seguirán utilizando el AWS ParallelCluster formato predeterminado.