Creazione di un cluster in AWS Parallel Computing Service - AWS PCS

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un cluster in AWS Parallel Computing Service

Questo argomento fornisce una panoramica delle opzioni disponibili e descrive gli elementi da considerare quando si crea un cluster in AWS Parallel Computing Service (AWS PCS). Se è la prima volta che crei un AWS PCS cluster, ti consigliamo di seguirloGuida introduttiva al servizio AWS Parallel Computing. Il tutorial può aiutarti a creare un HPC sistema funzionante senza approfondire tutte le opzioni disponibili e le architetture di sistema possibili.

Prerequisiti

Creare un cluster AWS PCS

È possibile utilizzare AWS Management Console o AWS CLI per creare un cluster.

AWS Management Console
Come creare un cluster
  1. Apri la AWS PCS console in https://console.aws.amazon.com/pcs/home#/clusters e scegli Crea cluster.

  2. Nella sezione Configurazione del cluster, inserisci i seguenti campi:

    • Nome del cluster: un nome per il cluster. Il nome può contenere solo caratteri alfanumerici (con distinzione tra lettere maiuscole e minuscole) e trattini. Deve iniziare con un carattere alfabetico e non può superare i 40 caratteri. Il nome deve essere univoco all'interno del Regione AWS e in Account AWS cui si sta creando il cluster.

    • Scheduler: scegli uno scheduler e una versione. AWS PCSattualmente supporta Slurm 24.05 e 23.11. Per ulteriori informazioni, consulta Versioni Slurm in AWS PCS.

    • Dimensioni del controller: scegli una dimensione per il controller. Ciò determina il numero di processi e nodi di elaborazione simultanei che il AWS PCS cluster può gestire. È possibile impostare la dimensione del controller solo al momento della creazione del cluster. Per ulteriori informazioni sul dimensionamento, vedereDimensione del cluster in AWS PCS.

  3. Nella sezione Rete, selezionate i valori per i seguenti campi:

    • VPC— Scegli un esistente VPC che soddisfi AWS PCS i requisiti. Per ulteriori informazioni, consulta AWS PCSVPCe requisiti e considerazioni sulla sottorete. Dopo aver creato il cluster, non è possibile modificarloVPC. Se non VPCs ne è elencato nessuno, devi prima crearne uno.

    • Subnet: vengono elencate tutte le sottoreti disponibili nell'area selezionataVPC. Scegline due in zone di disponibilità diverse. Ogni sottorete deve soddisfare i requisiti della AWS PCS sottorete. Per ulteriori informazioni, consulta AWS PCSVPCe requisiti e considerazioni sulla sottorete. Ti consigliamo di selezionare una sottorete privata per evitare di esporre gli endpoint dello scheduler alla rete Internet pubblica.

    • Gruppi di sicurezza: specifica i gruppi di sicurezza che desideri associare AWS PCS alle interfacce di rete che crea per il tuo cluster. È necessario selezionare almeno un gruppo di sicurezza che consenta la comunicazione tra il cluster e i relativi nodi di elaborazione. Per ulteriori informazioni, consulta Requisiti e considerazioni sui gruppi di sicurezza.

  4. (Facoltativo) In Crittografia, puoi definire una chiave personalizzata per crittografare i dati del controller impostando questi campi:

    • KMSID chiave: lascia che usi aws/pcs la KMS chiave che PCS crea. Seleziona un alias di KMS chiave esistente per utilizzare una KMS chiave personalizzata. Tieni presente che l'account utilizzato per creare il cluster deve disporre kms:Decrypt dei privilegi sulla chiave personalizzataKMS.

  5. (Facoltativo) Nella sezione di configurazione Slurm, è possibile specificare le opzioni di configurazione Slurm che sostituiscono i valori predefiniti impostati da: AWS PCS

    • Ridimensiona il tempo di inattività: controlla per quanto tempo i nodi di elaborazione con provisioning dinamico rimangono attivi dopo il completamento o la fine dei lavori su di essi assegnati. L'impostazione di questo valore su un valore più lungo può aumentare la probabilità che un processo successivo possa essere eseguito sul nodo, ma può comportare un aumento dei costi. Un valore più breve ridurrà i costi, ma potrebbe aumentare la percentuale di tempo che il HPC sistema impiega per il provisioning dei nodi anziché per l'esecuzione dei job su di essi.

    • Prolog: si tratta di un percorso completo per accedere a una directory di script Prolog sulle istanze del gruppo di nodi di calcolo. Corrisponde all'impostazione Prolog in Slurm. Nota che questa deve essere una directory, non un percorso verso un eseguibile specifico.

    • Epilog: si tratta di un percorso completo verso una directory di script di epilog sulle istanze del gruppo di nodi di calcolo. Corrisponde all'impostazione Epilog in Slurm. Nota che questa deve essere una directory, non il percorso di un eseguibile specifico.

    • Seleziona i parametri del tipo: questo aiuta a controllare l'algoritmo di selezione delle risorse utilizzato da Slurm. L'impostazione di questo valore su CR_CPU_Memory attiverà la pianificazione basata sulla memoria, mentre impostandolo su attiverà la sola pianificazione. CR_CPU CPU Questo parametro corrisponde all'SelectTypeParametersimpostazione in Slurm dove è impostata su by. SelectType select/cons_tres AWS PCS

  6. (Facoltativo) In Tag, aggiungi qualsiasi tag al tuo AWS PCS cluster.

  7. Scegli Create cluster (Crea cluster). Il campo Stato viene visualizzato Creating durante la AWS PCS creazione del cluster. Questo processo può richiedere alcuni minuti.

Importante

Può esserci solo 1 cluster Regione AWS per Creating stato Account AWS. AWS PCSrestituisce un errore se c'è già un cluster in uno Creating stato quando si tenta di creare un cluster.

AWS CLI
Come creare un cluster
  1. Crea un cluster con il comando seguente. Prima di eseguire il comando, apporta le modifiche seguenti:

    • Sostituiscilo region con l'ID in Regione AWS cui desideri creare il cluster, ad esempious-east-1.

    • Sostituisci my-cluster con un nome da assegnare al cluster. Il nome può contenere solo caratteri alfanumerici (con distinzione tra lettere maiuscole e minuscole) e trattini. Deve iniziare con un carattere alfabetico e non può superare i 40 caratteri. Il nome deve essere univoco all'interno Regione AWS e nel Account AWS luogo in cui si sta creando il cluster.

    • 24.05Sostituiscilo con qualsiasi versione supportata di Slurm.

      Nota

      AWS PCSattualmente supporta Slurm 24.05 e 23.11.

    • Sostituiscilo SMALL con qualsiasi dimensione di cluster supportata. Ciò determina quanti job e nodi di calcolo simultanei possono essere gestiti dal AWS PCS cluster. Può essere impostato solo al momento della creazione del cluster. Per ulteriori informazioni sul dimensionamento, vedereDimensione del cluster in AWS PCS.

    • Sostituisci il valore di subnetIds con il tuo. Ti consigliamo di selezionare una sottorete privata per evitare di esporre gli endpoint dello scheduler alla rete Internet pubblica.

    • Specificate securityGroupIds quella che desiderate associare AWS PCS alle interfacce di rete che crea per il cluster. I gruppi di sicurezza devono trovarsi nello VPC stesso gruppo del cluster. È necessario selezionare almeno un gruppo di sicurezza che consenta la comunicazione tra il cluster e i relativi nodi di elaborazione. Per ulteriori informazioni, consulta Requisiti e considerazioni sui gruppi di sicurezza.

    • Facoltativamente, puoi ottimizzare il comportamento di Slurm aggiungendo un'opzione. --slurm-configration Ad esempio, è possibile impostare il tempo di inattività per la riduzione della scala su 60 minuti (3600 secondi) con. --slurm configuration scaleDownIdeTime=3600

    • Facoltativamente, puoi fornire una KMS chiave personalizzata per crittografare i dati del controller utilizzando. --kms-key-id kms-key Sostituiscilo kms-key con un ID chiave o un alias esistente KMSARN. Tieni presente che l'account utilizzato per creare il cluster deve disporre kms:Decrypt dei privilegi sulla chiave personalizzataKMS.

    aws pcs create-cluster --region region \ --cluster-name my-cluster \ --scheduler type=SLURM,version=24.05 \ --size SMALL \ --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1
  2. Il provisioning del cluster può richiedere diversi minuti. È possibile eseguire query sullo stato del cluster con il comando seguente. Non procedere alla creazione di code o gruppi di nodi di calcolo finché non viene visualizzato il campo di stato del cluster. ACTIVE

    aws pcs get-cluster --region region --cluster-identifier my-cluster
Importante

Può esserci solo 1 cluster per Creating stato. Regione AWS Account AWS AWS PCSrestituisce un errore se c'è già un cluster in uno Creating stato quando si tenta di creare un cluster.

Passaggi successivi consigliati per il cluster
  • Aggiungi gruppi di nodi di calcolo.

  • Aggiungi code.

  • Attivare la registrazione nel log.