Alocação a vários tipos de instância com o Slurm - AWS ParallelCluster

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Alocação a vários tipos de instância com o Slurm

A partir da AWS ParallelCluster versão 3.3.0, você pode configurar seu cluster para alocar a partir do conjunto de tipos de instância definidos de um recurso computacional. A alocação pode ser baseada em estratégias de baixo custo ou capacidade ideal da frota do Amazon EC2.

Esse conjunto de tipos de instância definidos deve ter o mesmo número de vCPUs em todos ou, se o multithreading estiver desativado, o mesmo número de núcleos. Além disso, esse conjunto de tipos de instância deve ter o mesmo número de aceleradores dos mesmos fabricantes. Se Efa / Enabled estiver definido como true, as instâncias devem ter suporte ao EFA. Para obter mais informações e requisitos, consulte Scheduling / SlurmQueues / AllocationStrategy e ComputeResources / Instances.

Você pode AllocationStrategydefinir como lowest-price ou capacity-optimized dependendo da sua CapacityTypeconfiguração.

Em Instances, você pode configurar um conjunto de tipos de instância.

nota

A partir da AWS ParallelCluster versão 3.7.0, EnableMemoryBasedScheduling pode ser ativado se você configurar vários tipos de instância em Instâncias.

Para AWS ParallelCluster as versões 3.2.0 a 3.6. x, não EnableMemoryBasedScheduling pode ser ativado se você configurar vários tipos de instância em Instâncias.

Os exemplos a seguir mostram como você pode consultar tipos de instância para vCPUs, suporte ao EFA e arquitetura.

Consulta InstanceTypes com 96 vCPUs e arquitetura x86_64.

$ aws ec2 describe-instance-types --region region-id \
  --filters "Name=vcpu-info.default-vcpus,Values=96" "Name=processor-info.supported-architecture,Values=x86_64" \
  --query "sort_by(InstanceTypes[*].{InstanceType:InstanceType,MemoryMiB:MemoryInfo.SizeInMiB,CurrentGeneration:CurrentGeneration,VCpus:VCpuInfo.DefaultVCpus,Cores:VCpuInfo.DefaultCores,Architecture:ProcessorInfo.SupportedArchitectures[0],MaxNetworkCards:NetworkInfo.MaximumNetworkCards,EfaSupported:NetworkInfo.EfaSupported,GpuCount:GpuInfo.Gpus[0].Count,GpuManufacturer:GpuInfo.Gpus[0].Manufacturer}, &InstanceType)" \
  --output table

Consulta InstanceTypes com 64 núcleos, suporte ao EFA e arquitetura arm64.

$ aws ec2 describe-instance-types --region region-id \
  --filters "Name=vcpu-info.default-cores,Values=64" "Name=processor-info.supported-architecture,Values=arm64" "Name=network-info.efa-supported,Values=true" --query "sort_by(InstanceTypes[*].{InstanceType:InstanceType,MemoryMiB:MemoryInfo.SizeInMiB,CurrentGeneration:CurrentGeneration,VCpus:VCpuInfo.DefaultVCpus,Cores:VCpuInfo.DefaultCores,Architecture:ProcessorInfo.SupportedArchitectures[0],MaxNetworkCards:NetworkInfo.MaximumNetworkCards,EfaSupported:NetworkInfo.EfaSupported,GpuCount:GpuInfo.Gpus[0].Count,GpuManufacturer:GpuInfo.Gpus[0].Manufacturer}, &InstanceType)" \
  --output table

O próximo exemplo de trecho de configuração de cluster mostra como você pode usar essas propriedades InstanceType e AllocationStrategy.

...
 Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue-1
      CapacityType: ONDEMAND
      AllocationStrategy: lowest-price
      ...
      ComputeResources:
        - Name: computeresource1
          Instances:
            - InstanceType: r6g.2xlarge
            - InstanceType: m6g.2xlarge
            - InstanceType: c6g.2xlarge
          MinCount: 0
          MaxCount: 500
        - Name: computeresource2
          Instances:
            - InstanceType: m6g.12xlarge
            - InstanceType: x2gd.12xlarge
          MinCount: 0
          MaxCount: 500
...