設定多個佇列 - AWS ParallelCluster

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定多個佇列

使用 第 3 AWS ParallelCluster 版,您可以將 Scheduler 設定為 ,slurm並在SlurmQueues組態檔案中指定多個 佇列,藉此設定多個佇列。在此模式中,在組態檔案 ComputeResources 區段中指定的運算節點中,存在不同的執行個體類型共存。ComputeResources具有不同執行個體類型的 會視需要向上或向下擴展SlurmQueues

叢集佇列和運算資源配額
資源 配額

Slurm queues

每個叢集 50 個佇列

Compute resources

每個佇列 50 個運算資源

每個叢集 50 個運算資源

節點計數

佇列 ComputeResources 中的每個運算資源都必須具有唯一的 NameMinCountInstanceTypeMaxCountMinCount MaxCount具有預設值,可定義ComputeResources佇列中運算資源的執行個體範圍。您也可以為 MinCount和 指定自己的值MaxCount。中的每個運算資源ComputeResources是由編號從 1 到 的值的靜態節點MinCount和編號從 到 MinCount值的動態節點所組成MaxCount

組態範例

以下是叢集組態檔案的排程區段範例。在此組態中,有兩個名為 queue1的佇列queue2,每個佇列ComputeResources都有指定的 MaxCount

Scheduling: Scheduler: slurm SlurmQueues: - Name: queue1 ComputeResources: - InstanceType: c5.xlarge MaxCount: 5 Name: c5xlarge - InstanceType: c4.xlarge MaxCount: 5 Name: c4xlarge - Name: queue2 ComputeResources: - InstanceType: c5.xlarge MaxCount: 5 Name: c5xlarge

主機名稱

會動態指派在運算機群中啟動的執行個體。為每個節點產生主機名稱。依預設, AWS ParallelCluster 會使用下列格式的主機名稱 :

$HOSTNAME=$QUEUE-$STATDYN-$COMPUTE_RESOURCE-$NODENUM

  • $QUEUE 是佇列的名稱。例如,如果SlurmQueues區段的項目Name設定為「queue-name」,則「$QUEUE」為「queue-name」。

  • $STATDYN st適用於靜態節點或dy動態節點。

  • $COMPUTE_RESOURCE 是與此節點對應的ComputeResources運算資源Name的 。

  • $NODENUM 是節點的數目。MinCount靜態節點$NODENUM的值介於一 (1) 和 之間,動態節點的值介於一 (1) 和 MaxCount-MinCount 之間。

從上述範例組態檔案中,來自 queue1和 運算資源的指定節點c5xlarge具有主機名稱:queue1-dy-c5xlarge-1

主機名稱和完整網域名稱 (FQDN) 都是使用 Amazon Route 53 託管區域建立。FQDN 為 $HOSTNAME.$CLUSTERNAME.pcluster,其中 $CLUSTERNAME是叢集的名稱。

請注意,相同的格式將用於 Slurm 節點名稱。

使用者可以選擇使用為運算節點供電之執行個體的預設 Amazon EC2 主機名稱,而非 使用的預設主機名稱格式 AWS ParallelCluster。這可以透過將 UseEc2Hostnames 參數設定為 true 來完成。不過,Slurm 節點名稱將繼續使用預設 AWS ParallelCluster 格式。