Exemplos - AWS ParallelCluster

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exemplos

Os exemplos de configurações a seguir demonstram as configurações do AWS ParallelCluster usando os programadores Slurm, Torque, e AWS Batch.

nota

A partir da versão 2.11.5, AWS ParallelCluster não suporta o uso de programadores SGE ou Torque.

Slurm Workload Manager (slurm)

O exemplo a seguir executa um cluster com o programador slurm. O exemplo de configuração inicia 1 cluster com 2 filas de trabalhos. A primeira fila, spot, tem inicialmente duas instâncias t3.micro spot disponíveis. Ele pode ser expandido até um máximo de 10 instâncias e reduzido para um mínimo de 1 instância quando nenhum trabalho for executado por 10 minutos (ajustável usando a configuração scaledown_idletime). A segunda fila, ondemand, começa sem instâncias e pode ser escalada até um máximo de 5 instâncias t3.micro sob demanda.

[global] update_check = true sanity_check = true cluster_template = slurm [aws] aws_region_name = <your Região da AWS> [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster slurm] key_name = <your EC2 keypair name> base_os = alinux2 # optional, defaults to alinux2 scheduler = slurm master_instance_type = t3.micro # optional, defaults to t3.micro vpc_settings = public queue_settings = spot,ondemand [queue spot] compute_resource_settings = spot_i1 compute_type = spot # optional, defaults to ondemand [compute_resource spot_i1] instance_type = t3.micro min_count = 1 # optional, defaults to 0 initial_count = 2 # optional, defaults to 0 [queue ondemand] compute_resource_settings = ondemand_i1 [compute_resource ondemand_i1] instance_type = t3.micro max_count = 5 # optional, defaults to 10

Son of Grid Engine (sge) e Torque Resource Manager (torque)

nota

Aplica-se somente ao AWS ParallelCluster versões até e incluindo a versão 2.11.4. A partir da versão 2.11.5, AWS ParallelCluster não suporta o uso de programadores SGE ou Torque.

O exemplo a seguir executa um cluster com o programador torque ou sge Para usar SGE, mude scheduler = torque parascheduler = sge. O exemplo de configuração a seguir permite um máximo de 5 nós simultâneos e reduz a dois quando nenhuma tarefa for executada por 10 minutos.

[global] update_check = true sanity_check = true cluster_template = torque [aws] aws_region_name = <your Região da AWS> [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster torque] key_name = <your EC2 keypair name>but they aren't eligible for future updates base_os = alinux2 # optional, defaults to alinux2 scheduler = torque # optional, defaults to sge master_instance_type = t3.micro # optional, defaults to t3.micro vpc_settings = public initial_queue_size = 2 # optional, defaults to 0 maintain_initial_size = true # optional, defaults to false max_queue_size = 5 # optional, defaults to 10
nota

A partir da versão 2.11.5, AWS ParallelCluster não suporta o uso de programadores SGE ou Torque. Se você usar essas versões, poderá continuar usando-as ou solucionando problemas de suporte das equipes de serviço AWS e AWS Support.

AWS Batch (awsbatch)

O exemplo a seguir executa um cluster com o programador awsbatch. Ele é definido para escolher o tipo de instância melhor, com base em suas necessidades de recursos de tarefa.

O exemplo de configuração a seguir permite um máximo de 40 vCPUs simultâneas e reduz a zero quando nenhuma tarefa for executada por 10 minutos (ajustável usando a configuração scaledown_idletime).

[global] update_check = true sanity_check = true cluster_template = awsbatch [aws] aws_region_name = <your Região da AWS> [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster awsbatch] scheduler = awsbatch compute_instance_type = optimal # optional, defaults to optimal min_vcpus = 0 # optional, defaults to 0 desired_vcpus = 0 # optional, defaults to 4 max_vcpus = 40 # optional, defaults to 20 base_os = alinux2 # optional, defaults to alinux2, controls the base_os of # the head node and the docker image for the compute fleet key_name = <your EC2 keypair name> vpc_settings = public