Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Slurm contabilità con AWS ParallelCluster
A partire dalla versione 3.3.0, AWS ParallelCluster supporta la Slurm contabilità con il parametro di configurazione del cluster SlurmSettings/Database.
A partire dalla versione 3.10.0, AWS ParallelCluster supporta la Slurm contabilità con uno Slurmdbd esterno con il parametro di configurazione del cluster/. SlurmSettings ExternalSlurmdbd L'uso di uno Slurmdbd esterno è consigliato se più cluster condividono lo stesso database.
Con la Slurm contabilità, è possibile integrare un database contabile esterno per effettuare le seguenti operazioni:
-
Gestisci gli utenti o i gruppi di utenti del cluster e altre entità. Con questa funzionalità, puoi utilizzare Slurm le funzionalità più avanzate, come l'applicazione dei limiti delle risorse, il fair-share e il QoS.
-
Raccogli e salva i dati del lavoro, ad esempio l'utente che lo ha eseguito, la durata del lavoro e le risorse utilizzate. È possibile visualizzare i dati salvati con l'
sacctutilità.
Nota
AWS ParallelCluster supporta la Slurm contabilità dei server di database MySQL Slurm supportati.
Lavorare con Slurm contabilità con uso esterno Slurmdbd in AWS ParallelCluster v3.10.0 e versioni successive
Prima di configurare la Slurm contabilità, è necessario disporre di un server di Slurmdbd database esterno esistente, che si connette a un server di database esterno esistente.
Per configurarlo, definisci quanto segue:
-
L'indirizzo del Slurmdbd server esterno in ExternalSlurmdbd/Host. Il server deve esistere ed essere raggiungibile dal nodo principale.
-
La chiave munge per comunicare con il Slurmdbd server esterno in. MungeKeySecretArn
Per seguire un tutorial, consultaCreazione di un cluster con un cluster esterno Slurmdbd contabilità.
Nota
Sei responsabile della gestione delle entità contabili del Slurm database.
L'architettura della funzionalità di SlurmDB supporto AWS ParallelCluster esterno consente a più cluster di condividere lo stesso SlurmDB e lo stesso database.
avvertimento
Il traffico tra AWS ParallelCluster e verso l'esterno non SlurmDB è crittografato. Si consiglia di eseguire il cluster e l'esterno SlurmDB in una rete affidabile.
Lavorare con Slurm contabilità utilizzando il nodo principale Slurmdbd in AWS ParallelCluster v3.3.0 e versioni successive
Prima di configurare la Slurm contabilità, è necessario disporre di un server di database esterno e di un database esistenti che utilizzano mysql il protocollo.
Per configurare la Slurm contabilità con AWS ParallelCluster, è necessario definire quanto segue:
-
L'URI per il server di database esterno in Database/Uri. Il server deve esistere ed essere raggiungibile dal nodo principale.
-
Credenziali per accedere al database esterno definite in Database/PasswordSecretArne Database Database/. UserName AWS ParallelCluster utilizza queste informazioni per configurare la contabilità a Slurm livello e il
slurmdbdservizio sul nodo principale.slurmdbdè il demone che gestisce la comunicazione tra il cluster e il server del database.
Per seguire un tutorial, consultaCreazione di un cluster con Slurm contabilità.
Nota
AWS ParallelCluster esegue un bootstrap di base del database di Slurm contabilità impostando l'utente predefinito del cluster come amministratore del database nel Slurm database. AWS ParallelCluster non aggiunge nessun altro utente al database di contabilità. Il cliente è responsabile della gestione delle entità contabili nel Slurm database.
AWS ParallelCluster si configura slurmdbdStorageLocslurmdbd di configurazione. Considerate la seguente situazione. Un database presente sul server di database include un nome di cluster che non corrisponde a un nome di cluster attivo. In questo caso, puoi creare un nuovo cluster con quel nome da mappare a quel database. Slurmriutilizza il database per il nuovo cluster.
avvertimento
-
Non è consigliabile configurare più di un cluster per utilizzare lo stesso database contemporaneamente. Ciò può portare a problemi di prestazioni o persino a situazioni di deadlock del database.
-
Se l'Slurmaccounting è abilitato sul nodo principale di un cluster, consigliamo di utilizzare un tipo di istanza con una CPU potente, più memoria e una maggiore larghezza di banda di rete. Slurmla contabilità può sovraccaricare il nodo principale del cluster.
Nell'attuale architettura della funzionalità di AWS ParallelCluster Slurm contabilità, ogni cluster ha una propria istanza del slurmdbd demone, come mostrato nel seguente diagramma di esempio di configurazioni.
Se stai aggiungendo funzionalità Slurm multi-cluster o federative personalizzate all'ambiente del cluster, tutti i cluster devono fare riferimento alla stessa istanza. slurmdbd Per questa alternativa, ti consigliamo di abilitare AWS ParallelCluster Slurm l'account su un cluster e configurare manualmente gli altri cluster in modo slurmdbd che si connettano a quelli ospitati nel primo cluster.
Se utilizzi AWS ParallelCluster versioni precedenti alla versione 3.3.0, fai riferimento al metodo alternativo per implementare la Slurm contabilità descritto in questo post del blog HPC.
Slurm considerazioni contabili
Database e cluster su diversi VPC
Per abilitare la Slurm contabilità, è necessario un server di database che funga da backend per le operazioni di lettura e scrittura eseguite dal slurmdbd demone. Prima che il cluster venga creato o aggiornato per abilitare la Slurm contabilità, il nodo principale deve essere in grado di raggiungere il server del database.
Se devi distribuire il server del database su un VPC diverso da quello utilizzato dal cluster, considera quanto segue:
-
Per abilitare la comunicazione tra il
slurmdbdlato del cluster e il server del database, è necessario configurare la connettività tra i due VPC. Per ulteriori informazioni, consulta VPC Peering nella Amazon Virtual Private Cloud User Guide. -
È necessario creare il gruppo di sicurezza che si desidera collegare al nodo principale sul VPC del cluster. Dopo il peering dei due VPC, è disponibile il collegamento incrociato tra i gruppi di sicurezza lato database e lato cluster. Per ulteriori informazioni, consulta Security Group Rules nella Amazon Virtual Private Cloud User Guide.
Configurazione della crittografia TLS tra
Con la configurazione Slurm contabile predefinita AWS ParallelCluster fornita, slurmdbd stabilisce una connessione crittografata TLS al server del database, se il server supporta la crittografia TLS. AWS servizi di database come Amazon RDS e Amazon Aurora supportano la crittografia TLS per impostazione predefinita.
È possibile richiedere connessioni sicure sul lato server impostando il require_secure_transport parametro sul server del database. Questo è configurato nel CloudFormation modello fornito.
Seguendo le best practice di sicurezza, si consiglia di abilitare anche la verifica dell'identità del server sul slurmdbd client. Per fare ciò, configura il StorageParameters slurmdbd.conf. Carica il certificato CA del server nel nodo principale del cluster. Quindi, imposta l'opzione StorageParameters in slurmdbd.conf sul percorso del certificato CA del server sul nodo principale. In questo modo si abilita la verifica laterale dell'identità del server. slurmdbd Dopo aver apportato queste modifiche, riavvia il slurmdbd servizio per ristabilire la connettività al server del database con la verifica dell'identità abilitata.
Aggiornamento delle credenziali del database
Per aggiornare i valori per Database/UserNameor PasswordSecretArn, è necessario innanzitutto interrompere il parco di elaborazione. Supponiamo che il valore segreto memorizzato nel AWS Secrets Manager segreto venga modificato e il relativo ARN non venga modificato. In questa situazione, il cluster non aggiorna automaticamente la password del database al nuovo valore. Per aggiornare il cluster per il nuovo valore segreto, esegui il seguente comando dal nodo principale.
$sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh
avvertimento
Per evitare di perdere i dati contabili, si consiglia di modificare la password del database solo quando il parco di elaborazione viene interrotto.
Monitoraggio del database
Si consiglia di abilitare le funzionalità di monitoraggio dei servizi di AWS database. Per ulteriori informazioni, consulta la documentazione sul monitoraggio di Amazon RDS o di Amazon Aurora.
