Note di rilascio e cronologia dei documenti

• Aggiungi una nuova sezione di configurazione dell'immagine di build Build/Installation per attivare/disattivare il software NVIDIA e le installazioni del client Lustre. Per impostazione predefinita, il software NVIDIA, sebbene incluso nelle versioni ufficiali ParallelCluster AMIs, non viene installato da. build-image Per impostazione predefinita, il client Lustre è installato.

• I comandi export-cluster-logs CLI ora export-image-logs possono esportare per impostazione predefinita i log nel bucket predefinito o nel ParallelCluster Customs3bucket se specificato nella configurazione.

• Estendi il supporto di Amazon DCV a Ubuntu2204 su istanze ARM.

• Aggiorna il driver NVIDIA alla versione 550.127.08 (da 550.90.07). Questo risolve un problema noto di NVIDIA. Per ulteriori informazioni, consulta Problemi noti nella documentazione di NVIDIA Data Center.

• Aggiorna Amazon DCV alla versione2024.0-18131.

  • server: 2024.0-18131-1

  • dcv: 2024.0.631-1

  • gl: 2024.0.1078-1

  • visualizzatore web: 2024.0-18131-1

• Aggiorna il programma di installazione EFA a. 1.36.0

  • Driver EFA: efa-2.13.0-1

  • Configurazione EFA: efa-config-1.17-1

  • Profilo EFA: efa-profile-1.7-1

  • LibFabric-AWS: libfabric-aws-1.22.0-1

  • Nucleo RDMA: rdma-core-54.0-1

  • Open MPI: e openmpi40-aws-4.1.7-1 openmpi50-aws-5.0.5

• Riavvio automatico di slurmctld in caso di errore.

• Aggiornamento alla versione 8.0.39. mysql-community-client

• Rimuovi il supporto per Python 3.7 e 3.8, che sono fuori uso.

• Risolve un problema per cui le modifiche nella sequenza degli script di azioni personalizzate non venivano rilevate durante gli aggiornamenti del cluster.

• Aggiungi le autorizzazioni mancanti per l' AWS ParallelCluster API per creare i ruoli collegati al servizio per Elastic Load Balancing e Auto Scaling, necessari per distribuire i nodi di accesso.

• Risolve un problema relativo al modo in cui otteniamo la regione durante la gestione dei volumi in modo che possa gestire correttamente la zona locale.

• Risolve un problema per cui l'aggiunta di file system EFS con AccessPointIds durante un aggiornamento non andava a buon fine.

• Risolve un problema per cui, quando si utilizza PCAPI, l'aggiornamento del cluster poteva fallire durante l'aggiornamento di un parametro che non è di tipo String (ad esempio,). MaxCount

• Quando si monta un OpenZFS esterno, non è più necessario impostare le regole in uscita per le porte 111, 2049, 20001, 20002, 20003.

• È stato risolto un problema che causava l'errore di terraform-apply quando l' ParallelCluster API 3.11.x veniva utilizzata per distribuire cluster con nodi di accesso.

• Usa AWS ParallelCluster Terraform Provider 1.x in tutti gli esempi di moduli.

• Usa l' ParallelCluster API 3.11.1 in tutti gli esempi con l'API stack name. ParallelCluster

• Implementa i nodi di accesso in tutti gli esempi di moduli.

Correzioni di bug

• Imposta in modo esplicito la policy per un repository privato ECR per evitare che la rimozione della policy su un aggiornamento dello stack influisca su una funzione Lambda. La policy include le autorizzazioni richieste dalla funzione Lambda per recuperare il codice.

Modifiche:

• Aggiungi il supporto per AWS ParallelCluster 3.11.1.

• Aggiungi il supporto per On-Demand Capacity Reservations e Capacity Block nella procedura guidata.

• Aggiungi le famiglie g6, m7 e p5 all'elenco dei tipi di istanze supportati nella procedura guidata.

• Aggiungi nuovi parametri opzionali dello stack per configurare il dominio personalizzato sia per PCUI che per Cognito.

Correzioni di bug

• Risolve un bug che interrompeva la configurazione del dominio personalizzato.

Sicurezza:

• Aggiorna Flask-CORS da 3.0.10 a 4.0.2 per risolvere la vulnerabilità CVE-2024-6221.

• Aggiornamento lint-staged da 13.0.3 a 15.2.5 per risolvere la vulnerabilità CVE-2024-4068.

• Changelog completo

Funzionalità:

• Pyxis è ora disabilitato per impostazione predefinita, quindi deve essere abilitato manualmente come documentato nella documentazione del prodotto.

• Aggiorna il runtime di Python alla versione 3.12 in ParallelCluster Lambda Layer.

• Rimuovi il pinning della versione di setuptools alla versione precedente alla 70.0.0.

• Aggiorna libjwt alla versione 1.17.0.

• Changelog completo

• Risolve un problema nel modo in cui configuriamo il plugin Pyxis Slurm ParallelCluster che può causare errori nell'invio dei lavori.

• Risolvi un problema che causava la mancata implementazione nelle configurazioni con nodi di accesso aggiungendo le autorizzazioni mancanti richieste dai nodi di accesso nel modello pubblico di politiche. https://github.com/aws/aws-parallelcluster/issues/6483

• Aggiungi il supporto per azioni personalizzate sui nodi di accesso.

• Consenti la connessione DCV ai nodi di accesso.

• Aggiunge il supporto per la regione ap-southeast-3.

• Aggiungi gruppi di sicurezza al sistema di bilanciamento del carico di rete del nodo di accesso.

• Aggiungi la AllowedIps configurazione per i nodi di accesso.

• Aggiungi una nuova configurazione SharedStorage/EfsSettings/AccessPointId per specificare un punto di accesso EFS opzionale per un montaggio

• Consenti fino a 10 pool di nodi di accesso.

• Installa enroot e pyxis in pcluster ufficiale AMIs

• [INTERRUZIONE] Il loginNodes campo restituito dall'API DescribeCluster e dal comando CLI describe-cluster è stato modificato da dizionario a array per supportare più pool di nodi di accesso. Questa modifica interrompe la compatibilità con le versioni precedenti, rendendo queste operazioni incompatibili con i cluster distribuiti con versioni precedenti.

• Aggiorna Slurm alla versione 23.11.10 (dalla 23.11.7).

• Aggiorna Pmix a 5.0.3 (da 5.0.2).

• Aggiorna il programma di installazione EFA a. 1.34.0

  • Driver EFA: efa-2.10.0-1

  • Configurazione EFA: efa-config-1.17-1

  • Profilo EFA: efa-profile-1.7-1

  • LibFabric-AWS: libfabric-aws-1.22.0-1

  • Nucleo RDMA: rdma-core-52.0-1

  • Open MPI: e openmpi40-aws-4.1.6-3 openmpi50-aws-5.0.3-11

• Aggiorna il driver NVIDIA alla versione 550.90.07 (da 535.183.01).

• Aggiorna CUDA Toolkit alla versione 12.4.1 (dalla 12.2.2).

• Aggiorna Python alla versione 3.9.20 (dalla 3.9.19).

• Aggiorna la libreria Intel MPI alla versione 2021.13.1.769 (dalla 2021.12.1.8).

• Correggi il validatore EfaPlacementGroupValidator in modo che non suggerisca di configurare un gruppo di posizionamento quando vengono utilizzati i blocchi di capacità.

• Risolvi gli errori occasionali di creazione dei cluster assicurandoti che i file system FSx for Lustre vengano creati secondo le regole del gruppo di sicurezza.

• Risolve l'errore di eliminazione del cluster quando il gruppo di posizionamento è abilitato.

• Risolve il problema dei nodi di accesso contrassegnati come non integri quando si limitava l'accesso SSH.

• Correggi retrieve_supported_regions in modo che possa ottenere l'URL S3 corretto.

• Correzione dell'uso describe_images dell'impaginazione.

• Correzione del No route tables found bug quando si specifica la sottorete VPC predefinita su /Networking/ LoginNodes. SubnetIds

• Risolve l'errore di creazione dell'immagine nelle regioni della Cina.

Miglioramenti:

• Aggiungi una nuova sezione di configurazione Scheduling/SlurmSettings/ExternalSlurmdbd per connettere il cluster a uno Slurmdbd esterno.

• Consenti l'esecuzione di build-image in una rete isolata.

• Aggiungi il supporto per Amazon Linux 2023.

• Aggiungi il supporto per price-capacity-optimized as anAllocationStrategy.

• Aggiungi un validatore per impedire l'uso di gruppi di posizionamento con blocchi di capacità.

• CentOS 7 non è più supportato.

• Aggiorna Cinc Client alla versione 18.4.12 dalla 18.2.7.

• Aggiorna munge alla versione 0.5.16 (dalla 0.5.15).

• Aggiorna Pmix a 5.0.2 (da 4.2.9).

• Aggiorna le dipendenze dei libri di cucina di terze parti:

  • apt-7.5.22 (da apt-7.5.14)

  • openssh-2.11.12 (da openssh-2.11.3)

• Rimuovi il ricettario di terze parti: selinux-6.1.12.

• Aggiorna il programma 1.32.0 di installazione EFA a.

  • Driver EFA: efa-2.8.0-1

  • Configurazione EFA: efa-config-1.16-1

  • Profilo EFA: efa-profile-1.7-1

  • LibFabric-AWS: libfabric-aws-1.21.0-1

  • Nucleo RDMA: rdma-core-50.0-1

  • Open MPI: e openmpi40-aws-4.1.6-3 openmpi50-aws-5.0.2-12

• Aggiorna il driver NVIDIA alla versione 535.183.01 (da 535.154.05).

• Aggiorna Python alla versione 3.9.19 (dalla versione 3.9.17).

• Aggiorna la libreria Intel MPI alla versione 2021.12.1.8 (da 2021.9.0.43482).

• Correggi la configurazione di Data Repository Associations da creare e facoltativa. AutoExportPolicy AutoImportPolicy

• È stato risolto un problema durante l'eliminazione del cluster che ora completa la pulizia del parco di elaborazione quando le istanze sono chiuse o terminate. Questo serve a evitare errori di eliminazione dei cluster per i tipi di istanze con cicli di terminazione più lunghi.

• Consenti l'abilitazione della dashboard di cloudwatch e la disabilitazione degli allarmi nella Monitoring sezione della configurazione del cluster.

• Consenti a ParallelCluster Custom Resource di sopprimere i validatori utilizzando. PclusterCluster/SuppressValidators

• Rimozione /etc/profile.d/pcluster.sh in modo che non venga eseguita a ogni accesso utente e non cfn_bootstrap_virtualenv venga aggiunta nella variabile di ambiente PATH.

• Correggi le specifiche dell' ParallelCluster API sostituendo il campo failureReason con failures in DescribeCluster risposta.

• Correggi le specifiche dell' ParallelCluster API aggiungendo lo stato dello CloudFormation stack mancante:IMPORT_*, e. REVIEW_IN_PROGRESS UPDATE_FAILED

• Risolve un problema che impediva agli aggiornamenti del cluster di includere i file system EFS con crittografia in transito.

• Risolve un problema che impediva il riavvio dei servizi slurmctld e slurmdbd al riavvio del nodo principale quando EFS viene utilizzato per dati interni condivisi.

• Sui sistemi Ubuntu, rimuovi la configurazione logrotate predefinita per i file di registro cloud-init che si sono scontrati con la configurazione proveniente da Parallelcluster.

• Risolve l'errore di creazione dell'immagine con RHEL 8.10 o versione successiva.

• Changelog completo

• Changelog completo

• È stato aggiunto il supporto FSx Lustre come tipo di archiviazione condivisa inus-iso-east-1.

• Rimuovi cloud_dns dalla SlurmctldParameters configurazione di Slurm per evitare problemi di fanout di Slurm.

  Questo non è necessario, poiché impostiamo gli indirizzi IP all'avvio dell'istanza.

• Upgrade Slurm al 23.11.7 (dal 23.11.4).

• Per maggiori dettagli, vedi on. CHANGELOG 3.9.2 GitHub

Correzioni di bug:

• È stato corretto un bug nel frontend che bloccava l'interfaccia utente quando l'utente apre il pannello Job Status.

• Changelog completo

Funzionalità:

• È stato aggiunto il supporto per la versione 3.9.1 AWS ParallelCluster

• Changelog completo

• Rimuovi l'eliminazione ricorsiva della cartella di archiviazione condivisa mountdir quando si smontano i filesystem come parte dell'operazione update-cluster.

• Rimuovi l'eliminazione ricorsiva della cartella di archiviazione condivisa mountdir quando si smontano i filesystem come parte dell'operazione update-cluster.

Funzionalità:

• È stato aggiunto il supporto per la versione 3.9.0 AWS ParallelCluster

• È stato aggiunto il supporto per Ubuntu 22.04 e Red Hat Enterprise Linux 9

• Ubuntu 18.04 obsoleto

Correzioni di bug

• È stato risolto il problema che impediva la visualizzazione di alcuni cluster quando si utilizzavano molti cluster

Per eseguire l'aggiornamento, inserisci quanto segue: sudo pip install --upgrade aws-parallelcluster

Miglioramenti:

• Aggiungi il parametro di configurazione DeploymentSettings/DefaultUserHome per consentire agli utenti di spostare la home directory dell'utente predefinito /local/home in /home (impostazione predefinita).

• Autorizza MinCount l'MaxCountaggiornamento Queue e la ComputeResource configurazione dei parametri senza la necessità di interrompere il parco di elaborazione. Ora è possibile aggiornarli impostando su Scheduling/SlurmSettings/QueueUpdateStrategy TERMINATE. AWS ParallelCluster terminerà solo i nodi rimossi durante un ridimensionamento della capacità del cluster eseguito tramite un aggiornamento del cluster.

• Consente di aggiornare lo storage condiviso esterno di tipo Efs, FsxLustre FsxOntap, FsxOpenZfs e FileCache senza sostituire la flotta di elaborazione e accesso.

• Aggiungi il supporto per RHEL9.

• Aggiungi il supporto per Rocky Linux 9 così come CustomAmi creato tramite il build-image processo. Al momento non è disponibile alcuna AMI Linux AWS ParallelCluster Rocky9 ufficiale pubblica.

• Rimuovi CommunicationParameters da Custom Slurm Elenco delle impostazioni negate.

• È supportato l'aggiunta di un DeploymentSettings/DisableSudoAccessForDefaultUser parametro per disabilitare l'accesso sudo dell'utente predefinito. OSes

• Modifiche FSx ai file system Lustre creati da ParallelCluster: Modificare la versione del server Lustre in 2.15.

• Aggiungi la possibilità di scegliere tra driver Nvidia Open e Closed Source durante la creazione di un'AMI, tramite l'attributo ['cluster']['nvidia']['kernel_open'] cookbook node.

• * Aggiungi un'opzione di configurazione clustermgtd ec2_instance_missing_max_count per consentire un numero configurabile di nuovi tentativi per la coerenza delle istanze Amazon Descrive con le istanze di esecuzione. EC2

Modifiche

• Upgrade Slurm al 23.11.4 (dal 23.02.7).

• Aggiorna il driver NVIDIA alla versione 535.154.05.

• Aggiungi il supporto per Python 3.11, 3.12 nella CLI di pcluster e. aws-parallelcluster-batch-cli

• Crea interfacce di rete utilizzando l'indice delle schede di rete dall'NetworkCardIndexelenco delle EC2 DescribeInstances risposte di Amazon, anziché eseguire il looping su un intervallo. MaximumNetworkCards

• Non riesci a creare un cluster quando utilizzi i tipi di istanze P3, G3, P2 e G2 perché la loro architettura GPU non è compatibile con i driver open source Nvidia (OpenRM) introdotti nella versione 3.8.0.

• Aggiorna le dipendenze dei libri di cucina di terze parti: nfs-5.1.2 (da nfs-5.0.0)

• Aggiorna il programma di installazione EFA a 1.30.0.

  • Driver EFA: efa-2.6.0-1

  • Configurazione EFA: efa-config-1.15-1

  • Profilo EFA: efa-profile-1.6-1

  • LibFabric-AWS: libfabric-aws-1.19.0

  • Nucleo RDMA: rdma-core-46.0-1

  • Open MPI: e openmpi40-aws-4.1.6-2 openmpi50-aws-5.0.0-11

• Aggiorna NICE DCV alla versione 2023.1-16388.

  • server: 2023.1.16388-1

  • dcv: 2023.1.565-1

  • gl: 2023.1.1047-1

  • visualizzatore web: 2023.1.16388-1

Correzioni di bug

• Risolve il problema che faceva fallire il processo quando veniva inviato come utente di Active Directory dai nodi di accesso. Il problema era causato da una configurazione incompleta dell'integrazione con l'Active Directory esterno sul nodo principale.

• Rifattorizza le politiche IAM definite nel CloudFormation modello parallelclutser-policies.yaml per prevenire errori di implementazione delle API causati da policy che superano i limiti IAM. ParallelCluster

• Risolve il problema che impediva l'avvio dei nodi di accesso quando il nodo principale impiegava più tempo del previsto per scrivere le chiavi.

• Aggiornato l'ambiente di runtime Lambda a Python v3.9

Funzionalità:

• È stato aggiunto il supporto per l'implementazione di PCUI con reti private.

• È stata aggiunta la possibilità di applicare facoltativamente un limite di autorizzazioni a ogni ruolo IAM creato dalle infrastrutture PCUI e PCAPI

• È stata aggiunta la possibilità di applicare facoltativamente un prefisso a ogni ruolo e policy IAM creati dall'infrastruttura PCUI e PCAPI.

• È stato aggiunto il supporto per la ParallelCluster versione 3.8.0, senza parità di funzionalità nella procedura guidata.

Miglioramenti:

• Aggiungi il supporto per Amazon EC2 Capacity Blocks for ML.

• Aggiungi il supporto per Rocky Linux 8 così come CustomAmi creato tramite il build-image processo. Al momento non è disponibile alcuna AMI Linux AWS ParallelCluster Rocky8 ufficiale pubblica.

• Aggiungi un Scheduling/ScalingStrategy parametro per controllare la strategia di scalabilità del cluster da utilizzare all'avvio delle istanze Amazon EC2 per Slurm nodi di calcolo. I valori possibili sonoall-or-nothing,greedy-all-or-nothing,best-effort, e sono quelli predefiniti. all-or-nothing

• Aggiungi un HeadNode/SharedStorageType parametro per utilizzare lo storage EFS anziché le esportazioni NFS dal volume root del nodo principale per le risorse del file system condivise all'interno del cluster: Intel ParallelCluster, Slurm e dati. /home Questo miglioramento riduce il carico sulla rete del nodo principale.

• Consenti il montaggio /home come EFS o storage condiviso FSx esterno tramite la SharedStorage sezione del file di configurazione.

• Aggiungi un nuovo parametro SlurmSettings/MungeKeySecretArn per consentire l'utilizzo di una chiave MUNGE esterna definita dall'utente da AWS Secrets Manager.

• Aggiungi un Monitoring/Alarms/Enabled parametro per attivare Amazon CloudWatch Alarms per il cluster.

• Aggiungi allarmi del nodo principale per monitorare i controlli di EC2 integrità di Amazon, l'utilizzo della CPU e lo stato generale del nodo principale e aggiungili alla CloudWatch dashboard creata con il cluster.

• Aggiungi il supporto per Data Repository Associations quando utilizzi PERSISTENT_2 as DeploymentType per un managed FSx for Lustre.

• Aggiungi un Scheduling/SlurmSettings/Database/DatabaseName parametro per consentire agli utenti di specificare un nome personalizzato per il database sul server di database per cui utilizzare Slurm contabilità.

• Crea InstanceType un parametro di configurazione opzionale durante la configurazione CapacityReservationTarget/CapacityReservationId nella risorsa di calcolo.

• Aggiungi la possibilità di specificare un prefisso per i ruoli e le politiche IAM creati dall'API. AWS ParallelCluster

• Aggiungi la possibilità di specificare un limite di autorizzazioni da applicare per i ruoli e le policy IAM creati dall'API. AWS ParallelCluster

Modifiche

• Upgrade Slurm al 23.02.7 (dal 23.02.6).

• Aggiorna il driver NVIDIA alla versione 535.129.03.

• Aggiorna CUDA Toolkit alla versione 12.2.2.

• Usa i driver GPU NVIDIA open source (OpenRM) come modulo kernel NVIDIA per Linux invece del modulo closed source NVIDIA.

• Rimuovi il supporto per i parametri di configurazione nel all_or_nothing_batch Slurm riprendi il programma, a favore della nuova configurazione del Scheduling/ScalingStrategy cluster.

• La convenzione di denominazione degli allarmi del cluster è stata modificata in '[cluster-name] - [component-name] - [metric]'.

• Modifica i tipi di volume EBS predefiniti nelle regioni ADC da gp2 a gp3, sia per i volumi root che per quelli aggiuntivi.

• Il limite delle autorizzazioni opzionali per l' AWS ParallelCluster API viene ora applicato a ogni ruolo IAM creato dall'infrastruttura API.

  • Aggiorna il programma di installazione EFA a. 1.29.1

  • Driver EFA: efa-2.6.0-1

  • Configurazione EFA: efa-config-1.15-1

  • Profilo EFA: efa-profile-1.5-1

  • LibFabric-AWS: libfabric-aws-1.19.0-1

  • Nucleo RDMA: rdma-core-46.0-1

  • Apri MPI: openmpi40-aws-4.1.6-1

• L'aggiornamento GDRCopy alla versione 2.4 è supportato in tutte le versioni OSes, ad eccezione di Centos 7 in cui viene utilizzata la versione 2.3.1.

• Aggiornamento aws-cfn-bootstrap alla versione 2.0-28.

• Aggiungi il supporto per Python 3.10 in. aws-parallelcluster-batch-cli

Correzioni di bug

• Corregge la configurazione di scalabilità incoerente dopo il rollback dell'aggiornamento del cluster quando si modifica l'elenco dei tipi di istanza dichiarati nelle risorse di calcolo.

• Risolve la generazione di chiavi SSH degli utenti quando cambiano utente senza privilegi di root in cluster integrati con un server LDAP esterno tramite file di configurazione del cluster.

• Correggi la disabilitazione Slurm modalità di risparmio energetico durante l'impostazioneScaledownIdletime = -1.

• Correggi il percorso codificato a Slurm directory di installazione nello script per update_slurm_database_password.sh Slurm Contabilità.

Modifiche:

• Upgrade Slurm al 23.02.6.

Funzionalità:

• È stato aggiunto il supporto per la ParallelCluster versione 3.7.2 con parità di funzionalità nella procedura guidata limitata a FSx File Cache e compatibilità della pianificazione basata sulla memoria con più tipi di istanze.

Correzioni di bug

• È stato risolto il problema che causava errori dell'interfaccia utente quando PCUI non dispone delle autorizzazioni per interagire con Cost Explorer.

Miglioramenti

• Sicurezza migliorata riducendo il TTL del token di accesso da 10 minuti a 5 minuti.

Modifiche:

• Upgrade Slurm al 23.02.5 (dal 23.02.4).

  • Aggiorna Pmix a 4.2.6 (da 3.2.3).

  • Aggiorna libjwt a 1.15.3 (da 1.12.0).

• Aggiorna il programma di installazione EFA a, risolvendo il problema dei dati di scrittura RDMA in 1.26.1 P5.

  • efa-2.5.0-1Driver EFA:.

  • Configurazione EFA:. efa-config-1.15-1

  • Profilo EFA:. efa-profile-1.5-1

  • LibFabric-AWS:. libfabric-aws-1.18.2-1

  • ERdma-nucleo:. rdma-core-46.0-1

  • Apri MPI:. openmpi40-aws-4.1.5-4

Miglioramenti:

• Supporta la configurazione delle priorità dei nodi statici e dinamici nelle risorse di calcolo utilizzando un AWS ParallelCluster file YAML di configurazione.

• Aggiungi il supporto per Ubuntu 22. Le chiavi RSA non sono supportate per impostazione predefinita.

• Aggiungi l'impostazione di configurazione della coda JobExclusiveAllocation per allocare i nodi in una partizione esclusivamente a un singolo processo in un dato momento.

• Consenti il aws-parallelcluster-node pacchetto Override al momento della creazione del cluster e dell'aggiornamento del cluster. Per il nodo principale, questo vale per l'aggiornamento del cluster. Utile solo per scopi di sviluppo.

• Evita l'avvio del server NFS sui nodi di calcolo.

• Aggiungi il supporto per i nodi di accesso.

• Consenti la pianificazione basata sulla memoria quando vengono specificati più tipi di istanza per un Slurm Risorsa di calcolo.

• Aggiungi il supporto per montare Amazon File Cache esistente come storage condiviso.

Modifiche:

• Assign Slurm i nodi dinamici hanno una priorità (peso) di 1000 per impostazione predefinita. In questo modo, Slurm può dare priorità ai nodi statici inattivi rispetto ai nodi dinamici inattivi.

• Fai in modo che i daemon gestiscano solo la gestione aws-parallelcluster-node AWS ParallelCluster Slurm partizioni.

• Aumenta l'intervallo di sondaggio di EFS-utils watchdog a 10 secondi. Questa modifica si applica quando EncryptionInTransit è impostata sutrue, che è l'unica condizione che causa l'esecuzione del watchdog.

• Aggiorna il programma di installazione EFA a. 1.25.1

  • EFA-Driver: (da) efa-2.5.0-1 efa-2.1.1g

  • EFA-Config: (da) efa-config-1.15-1 efa-config-1.13-1

  • Profilo EFA: (nessuna modifica) efa-profile-1.5-1

  • libFabric-AWS: (da) libfabric-aws-1.18.1-0 libfabric-aws-1.17.1-1

  • RDMA-Core: (da) rdma-core-46.0-1 rdma-core-43.0-1

  • Apri MPI: (da) openmpi40-aws-4.1.5-4 openmpi40-aws-4.1.5-1

• Upgrade Slurm alla versione 23.02.4.

• Cambia il valore predefinito di Imds/ ImdsSupport dalla v1.0 alla v2.0.

• Deprecate Ubuntu 18.

• Aggiorna la dimensione predefinita del volume root a 40 GB per tenere conto dei limiti su Centos 7.

• Limita l'autorizzazione su file /tmp/wait _condition_handle.txt all'interno del nodo principale in modo che solo root possa leggerlo.

• Crea un Slurm file JSON di mappatura partition-nodelist da utilizzare dai demoni del pacchetto del nodo per riconoscere i pacchetti gestiti da PC Slurm partizioni e liste di nodi.

• Aggiorna il driver NVIDIA alla versione 535.54.03.

• Aggiorna la libreria CUDA alla versione 12.2.0.

• Aggiorna NVIDIA Fabric Manager a nvidia-fabricmanager-535.

• Aggiorna ARM PL alla versione 23.04.1 solo per Ubuntu 22.04.

• Aggiorna NICE DCV alla versione. 2023.0-15487

  • Server: 2023.0.15487-1

  • dcv: 2023.0.551-1

  • gl: 2023.0.1039-1

  • visualizzatore web: 2023.0.15487-1

Correzioni di bug

• Aggiungi la convalida al ScaledownIdletime valore, per evitare di impostare un valore inferiore a -1.

• Risolvi l'errore di creazione del cluster con l'AMI Ubuntu Deep Learning su istanze GPU con DCV abilitato.

• Risolve il problema che causava la creazione di politiche IAM sospese durante la creazione di un provider di risorse ParallelCluster CloudFormation personalizzato con. CustomLambdaRole

• Risolve un problema che causava il disallineamento del nome DNS dei nodi di calcolo su istanze con più interfacce di rete, quando si utilizzava uguale a SlurmSettings/Dns/UseEc2Hostnames True

Rilascio della sola documentazione:

• AWS ParallelCluster la versione 3 ha una propria guida per l'utente separata.

Modifiche:

• Evita la duplicazione dei nodi (vista da clustermgtd se i nodi di elaborazione vengono aggiunti a più nodi) Slurm partizioni.

Correzioni di bug

• Rimuovi la codifica rigida del nome del dispositivo del volume root (/dev/sda1e/dev/xvda) e recuperala dagli AMI utilizzati durante. create-cluster

• Risolvi l'errore di creazione del cluster quando si utilizza una risorsa CloudFormation personalizzata con ElasticIp set to. True

• Risolvi gli errori di creazione e aggiornamento del cluster quando si utilizza una risorsa AWS CloudFormation personalizzata con file di configurazione di grandi dimensioni.

• Risolve un problema che impediva la disattivazione ptrace della protezione su Ubuntu e che non consentiva il Cross Memory Attach (CMA) in libfabric.

• Risolve rapidamente la logica di failover con capacità insufficiente quando si utilizzano più tipi di istanze e non viene restituita alcuna istanza.

Modifiche:

• È stata aggiornata la versione AWS ParallelCluster API predefinita alla 3.6.0.

Correzioni di bug

• Risolto un problema di distribuzione per la regione AWS GovCloud (Stati Uniti occidentali).

• Il pannello diviso ora carica correttamente i dettagli del cluster dopo l'inizio della creazione.

Note:

• La funzionalità di monitoraggio dei costi non è disponibile in AWS GovCloud (US) Regions.

Documentazione:

• Aggiungere la documentazione per. AWS ParallelCluster API della libreria Python

Miglioramenti:

• Aggiungi supporto per RHEL8.

• Aggiungi una risorsa AWS CloudFormation personalizzata per la creazione e la gestione di cluster con CloudFormation.

• Aggiungi il supporto per la personalizzazione del cluster Slurm configurazione nel file AWS ParallelCluster YAML di configurazione.

• Creazione Slurm con supporto per LUA.

• Aumenta il limite del numero massimo di code per cluster da 10 a 50. Ogni coda può contenere fino a 50 risorse di elaborazione. Ogni cluster può avere fino a 50 risorse di elaborazione.

• Aggiungi il supporto per specificare una sequenza di più script di azioni personalizzati per un evento configurato in OnNodeStartOnNodeConfigured, e parametri. OnNodeUpdated

• Aggiungi una nuova sezione di configurazioneHealthChecks/Gpu, per applicare i controlli di integrità della GPU su un nodo di calcolo prima dell'esecuzione di un processo.

• Aggiungi il supporto per Tags nella configurazione SlurmQueues eSlurmQueues/ComputeResources.

• Aggiungi il supporto per DetailedMonitoringnella Monitoring configurazione.

• Aggiungi mem_used_percent disk_used_percent parametri per il monitoraggio della memoria del nodo principale e dell'utilizzo del disco del volume principale nella AWS ParallelCluster CloudWatch dashboard e imposta allarmi per il monitoraggio di queste metriche.

• Aggiungi il supporto per la rotazione dei log gestiti. AWS ParallelCluster

• Tieni traccia degli errori più comuni dei nodi di elaborazione e del periodo di inattività più lungo dei nodi dinamici nella dashboard. CloudWatch

• Imponi al server di autenticazione DCV di utilizzare almeno TLS-1.2 il protocollo durante la creazione del socket SSL.

• Installa il pacchetto NVIDIA Data Center GPU Manager (DCGM) su tutti i sistemi operativi supportati tranne e. aarch64 centos7 alinux2

• Carica il modulo del kernel nvidia-uvm per impostazione predefinita per fornire la funzionalità Unified Virtual Memory (UVM) al driver CUDA.

• Installa NVIDIA Persistence Daemon come servizio di sistema.

Modifiche:

• Upgrade Slurm alla versione 23.02.2 (dalla versione22.05.8).

• Aggiorna munge alla versione 0.5.15 (dalla versione0.5.14).

• Impostazione della proprietà Slurm TreeWidtha 30.

• Impostazione della proprietà Slurm prologe epilog configurazioni nella directory di destinazione /opt/slurm/etc/scripts/prolog.d/ e /opt/slurm/etc/scripts/epilog.d/ rispettivamente.

• Imposta Slurm BatchStartTimeoutfino a un massimo di 3 minuti per l'esecuzione Prolog degli script durante la registrazione dei nodi di calcolo.

• Aumenta il valore predefinito RetentionInDays dei CloudWatch log da 14 a 180 giorni.

• Aggiorna il programma di installazione EFA a. 1.22.1

  • DMS: 2.8.3-2

  • EFA-Driver: efa-2.1.1g (nessuna modifica)

  • EFA-Config: (nessuna modifica) efa-config-1.13-1

  • Profilo EFA: (nessuna modifica) efa-profile-1.5-1

  • libFabric-AWS: (da) libfabric-aws-1.17.1-1 libfabric-aws-1.17.0-1

  • RDMA-Core: (nessuna modifica) rdma-core-43.0-1

  • Apri MPI: openmpi40-aws-4.1.5-1 (nessuna modifica)

• Aggiorna la versione del client Lustre 2.12 su Amazon Linux 2. Il client Lustre 2.12 è stato installato su Ubuntu 20.04, 18.04 e CentOS >= 7.7.

• Aggiorna la versione del client Lustre a 2.10.8 CentOS 7.6.

• Aggiorna il driver NVIDIA alla versione 470.182.03 (dalla versione). 470.141.03

• Aggiorna NVIDIA Fabric Manager alla versione 470.182.03 (dalla versione470.141.03).

• Aggiorna NVIDIA CUDA Toolkit alla versione 11.8.0 (dalla versione). 11.7.1

• Aggiorna l'esempio di NVIDIA CUDA alla versione. 11.8.0

• Aggiorna la libreria Intel MPI alla versione 2021 Update 9 (dalla versione 2021 Update 6). Per ulteriori informazioni, vedere Intel® MPI Library 2021 Update 9.

• Aggiorna NICE DCV alla versione 2023.0-15022 (dalla versione2022.2-14521).

  • server: 2023.0.15022-1 (dalla versione2022.2-14521-1).

  • xdcv: 2023.0.547-1 (dalla versione2022.2.519-1).

  • gl: 2023.0.1027-1 (dalla versione). 2022.2.1012-1

  • web_viewer: 2023.0.15022-1 (dalla versione). 2022.2.14521-1

• Esegui l'aggiornamento aws-cfn-bootstrap alla versione. 2.0-24

• Aggiorna l'immagine utilizzata dall' CodeBuild ambiente durante la creazione di immagini di container per AWS Batch i cluster:

  • aws/codebuild/amazonlinux2-x86_64-standard:4.0(daaws/codebuild/amazonlinux2-x86_64-standard:3.0).

  • aws/codebuild/amazonlinux2-aarch64-standard:2.0(daaws/codebuild/amazonlinux2-aarch64-standard:1.0).

Correzioni di bug

• Correggi i validatori dei gruppi di sicurezza di FSx rete Amazon EFS e Amazon per evitare di segnalare falsi errori.

• Corregge i tag mancanti delle risorse create da Image Builder durante build-image l'operazione.

• Correggi la politica di aggiornamento MaxCount per eseguire sempre confronti numerici sulla proprietà. MaxCount

• Correggi l'allineamento IP sulle istanze dei nodi di calcolo con più schede di rete.

• Risolve la sostituzione di StoragePass in slurm_parallelcluster_slurmdbd.conf quando viene eseguito un aggiornamento dei parametri di coda e il Slurm le configurazioni contabili non vengono aggiornate.

• Risolve il problema che causa la creazione di gruppi di sicurezza sospesi durante la creazione di un cluster con un file system EFS esistente.

• Risolve il problema che causava il fallimento cfn-hup del demone al riavvio.

• Considerate i nodi dinamici con INVALID_REG flag come errori di bootstrap per Slurm modalità protetta. Nodi statici in errore Slurm la registrazione viene già considerata come errori di bootstrap dopo. node_replacement_timeout

Miglioramenti:

• A partire dalla AWS ParallelCluster versione 3.6.0, aggiungi il supporto per RHEL 8.

• Aggiungi il monitoraggio dei costi del cluster.

• A partire dalla AWS ParallelCluster versione 3.6.0, aumenta le quote di risorse di coda e di calcolo.

Modifiche:

• È stata migliorata l'interfaccia utente della procedura guidata per la creazione del cluster.

• È stata aumentata la velocità di implementazione PCUI.

• È stata migliorata l'interfaccia per l'aggiunta di un nuovo utente.

• Per impostazione predefinita, le code si trovano nella sottorete del nodo principale.

Correzioni di bug

• Passa alla regione corretta dopo il completamento della creazione del cluster.

• Correggi la visualizzazione dell'indicatore di caricamento nella funzione «Modifica cluster».

• Correggi la creazione del cluster quando la SnapshotId proprietà EBS viene rimossa.

Miglioramenti:

• Riprogettazione della procedura guidata per la creazione di cluster.

• Riprogettazione della pagina dei log del cluster.

• Aggiungi un'impostazione del nome personalizzata per l'archiviazione condivisa.

• Aggiungi una selezione multipla di storage quando aggiungi storage a un cluster.

• Aggiungi DeletionPolicy il supporto per Amazon EFS e FSx Lustre.

• Aggiungi ImdsSupport impostazioni nella configurazione del cluster.

• Aggiungi il supporto per i tipi di istanze C7.

• È stato aggiunto un tutorialRipristino a una versione precedente del documento AWS Systems Manager.

Modifiche:

• Configurazione del cluster YAML con dimensioni fino a 1 MB.

• L'utente non è disconnesso a causa di un'autorizzazione con credenziali temporanee Boto3 IAM.

• Opzioni multi-threading disattivate quando viene selezionata un'istanza HPC.

• Rimosso, disabilita il rollback nella pagina di creazione del cluster.

• All'utente viene impedito di utilizzare il PCUI fino a quando non vengono fornite le informazioni richieste.

• È possibile aggiungere fino a 10 code.

• Il SSM-SessionManagerRunShell documento non viene sovrascritto durante l'installazione di PCUI.

Correzioni di bug

• Correggi il link di reimpostazione della password non funzionante

• Risolve il problema delete stack causato dal EcrPrivateRepository mancato vuoto

• È stato risolto il problema di inizializzazione della casella di controllo Genera chiavi SSH nella sezione Proprietà di gestione di più utenti.

• È stato risolto il problema di arresto anomalo causato da un lavoro con proprietà non definite.

• FSx Impostazioni SCRATCH fisse.

• Risolto il problema con il pulsante Start e Stop delle istanze, ancora abilitato dopo essere stato premuto una volta.

Miglioramenti:

• Aggiungi un eseguibile di installazione pcluster CLI autonomo.

Modifiche:

• Aggiorna il programma di installazione EFA a. 1.22.0

  • EFA-Driver: (da) efa-2.1.1g efa-2.1.1-1

  • EFA-Config: (da efa-config-1.12-1) efa-config-1.13-1

  • EFA-Profile: efa-profile-1.5-1 (nessuna modifica)

  • libFabric-AWS: (da) libfabric-aws-1.17.0-1 libfabric-aws-1.16.1amzn3.0-1

  • RDMA-Core: (nessuna modifica) rdma-core-43.0-1

  • Apri MPI: (da) openmpi40-aws-4.1.5-1 openmpi40-aws-4.1.4-3

  Aggiorna NICE DCV alla versione. 2022.2-14521

  • server: 2022.2.14521-1

  • dcv: 2022.2.519-1

  • gl: 2022.2.1012-1

  • visualizzatore web: 2022.2.14521-1

Correzioni di bug

• Risolvi i potenziali errori di avvio dei nodi causati dalla corrispondenza dei pattern tra MountDir e /etc/exports durante la rimozione di volumi Amazon EBS condivisi come parte di un aggiornamento del cluster.

• Correzione per impedire il troncamento dei file di compute_console_output registro a ogni iterazione. clustermgtd

Miglioramenti:

• Accedi e gestisci i cluster con l'AWS ParallelCluster interfaccia utente.

• Aggiungi AWS ParallelCluster policy con versioni diverse in un CloudFormation modello a cui puoi fare riferimento nei tuoi carichi di lavoro.

• Aggiungi una libreria AWS ParallelCluster Python che puoi usare con il tuo codice.

• Aggiungi la registrazione dell'output della console del nodo di calcolo ad Amazon in caso di errore di CloudWatch avvio del nodo di calcolo.

• Aggiungi il campo Failures contenente il codice di errore e il motivo da describe-cluster emettere quando la creazione del cluster non riesce.

• Aggiungi validatori per impedire l'iniezione di stringhe dannose durante la chiamata al modulo del sottoprocesso.

• Se lo stato del cluster cambia PROTECTED durante il provisioning di nodi statici, fallisce la creazione del cluster.

Modifiche:

• Esegui l'aggiornamento a Slurm versione 22.05.8 (dalla versione22.05.7)

• Aggiorna il programma di installazione EFA a. 1.21.0

  • EFA-Driver: (da) efa-2.1.1-1 efa-2.1

  • EFA-Config: (da efa-config-1.11-1) efa-config-1.12-1

  • EFA-Profile: efa-profile-1.5-1 (nessuna modifica)

  • libFabric-AWS: (da) libfabric-aws-1.16.1amzn3.0-1 libfabric-aws-1.16.1

  • RDMA-Core: (da) rdma-core-43.0-1 rdma-core-43.0-2

  • Apri MPI: openmpi40-aws-4.1.4-3 (nessuna modifica)

• Make Slurm il controller registra in modo più dettagliato e abilita la registrazione aggiuntiva per Slurm plugin per il risparmio energetico.

Correzioni di bug

• Correggi la creazione del database del cluster verificando che il nome del cluster non superi i 40 caratteri quando Slurm la contabilità è abilitata.

• Risolve un problema clustermgtd che causava il riavvio dei nodi di calcolo tramite Slurm, da sostituire se i controlli dello stato delle EC2 istanze Amazon falliscono.

• Risolve un problema che impediva l'avvio dei nodi di elaborazione, con prenotazioni di capacità condivise da altri account, a causa di una politica IAM errata sul nodo principale.

Correzioni di bug

• Correggi un Slurm problema di pianificazione che potrebbe causare l'applicazione errata degli aggiornamenti al registro interno dei nodi di calcolo. Di conseguenza, se si verifica questo problema, EC2 le istanze potrebbero non essere disponibili o potrebbero essere supportate da un tipo di istanza errato.

Miglioramenti:

• Aggiungi il supporto per l'avvio di nodi su più zone di disponibilità per aumentare la disponibilità della capacità.

• Aggiungi il supporto per specificare più sottoreti per ogni coda per aumentare la disponibilità della capacità.

• Aggiungi un nuovo parametro di configurazione in Iam/ResourcePrefixper specificare un prefisso per il percorso e il nome delle risorse IAM create da. AWS ParallelCluster

• Aggiungi una nuova sezione di configurazione DeploymentSettings/LambdaFunctionsVpcConfigper specificare la configurazione Vpc utilizzata dalle funzioni AWS ParallelCluster Lambda.

• Aggiungi la possibilità di specificare uno script personalizzato da eseguire nel nodo principale durante un aggiornamento del cluster. Lo script può essere specificato con HeadNode/CustomActions/OnNodeUpdatedquando si utilizza Slurm come programmatore.

Modifiche:

• Rimuovi la creazione di destinazioni di montaggio Amazon EFS per i file system esistenti.

• Monta i file system EFS utilizzandoamazon-efs-utils. I file system EFS possono essere montati utilizzando la crittografia in transito e un utente autorizzato IAM.

• Installa stunnel 5.67 su Cent OS7 e Ubuntu per supportare la crittografia EFS in transito.

• Aggiorna il programma di installazione EFA a (da). 1.20.0 1.18.0

  • EFA-Driver: (da) efa-2.1 efa-1.16.0-1

  • EFA-Config: (nessuna modifica) efa-config-1.11-1

  • Profilo EFA: (nessuna modifica) efa-profile-1.5-1

  • libFabric-AWS: (da) libfabric-aws-1.16.1 libfabric-aws-1.16.0~amzn4.0-1

  • RDMA-Core: da () rdma-core-43.0-2 rdma-core-41.0-2

  • Apri MPI: da () openmpi40-aws-4.1.4-3 openmpi40-aws-4.1.4-2

• Upgrade Slurm alla versione 22.05.7 (da22.05.5).

• Aggiorna Python a and. 3.9.16 3.7.16 (da 3.9.15 e3.7.13).

• Con Slurm 22.05.7, i nodi dinamici in IDLE+CLOUD+COMPLETING+POWER_DOWN+NOT_RESPONDING stato non sono considerati non integri.

Modifiche:

• AMIs I AWS ParallelCluster prodotti ufficiali sono ora disponibili dopo il EC2 deprecamento di Amazon a due anni.

• Aumenta la dimensione della memoria dell' AWS ParallelCluster API Lambda a 2048 per ridurre le penalità di avvio a freddo ed evitare i timeout.

Correzioni di bug

• Impedisci la sostituzione dei file system gestiti FSx per Lustre e la perdita di dati negli aggiornamenti del cluster che includono modifiche all'ID della sottorete della flotta di elaborazione.

• SharedStorageDeletionPolicysi applica alle azioni di aggiornamento del cluster.

• AWS ParallelCluster non supporta il tipo di istanza hpc6id per l'impostazione /. HeadNodeInstanceType

Miglioramenti:

• Correggere Slurm problema che impedisce la chiusura dei nodi inattivi.

• Aggiorna il programma di installazione EFA alla versione 1.18.0

  • Driver EFA: efa-1.16.0-1

  • EFA-Config: (da) efa-config-1.11-1 efa-config-1.9-1

  • Profilo EFA: (nessuna modifica) efa-profile-1.5-1

  • libFabric-AWS: (da). libfabric-aws-1.16.0~amzn4.0-1 libfabric-1.13.2

  • RDMA-Core: (da) rdma-core-41.0-2 rdma-core-37.0

  • Apri MPI: (da) openmpi40-aws-4.1.4-2 openmpi40-aws-4.1.1-2

Modifiche:

• Aggiungi lambda:ListTags e lambda:UntagResource a quello ParallelClusterUserRole utilizzato dallo stack di AWS ParallelCluster API per un aggiornamento del cluster.

• Aggiornare la libreria Intel MPI alla versione 2021 Update 6 (dalla versione 2021 Update 4). Per ulteriori informazioni, vedere Intel® MPI Library 2021 Update 6.

• Aggiorna il driver NVIDIA alla versione 470.141.03 (da 470.103.01).

• Aggiorna NVIDIA Fabric Manager alla versione 470.141.03 (da 470.103.01).

Miglioramenti:

• Aggiungi il supporto per la configurazione di allocazione di più istanze per una risorsa di calcolo quando si utilizza Slurm come programmatore. Per ulteriori informazioni, consulta Allocazione di più tipi di istanza con Slurm.

• Aggiungi il supporto per l'aggiunta e la rimozione SharedStoragecon un aggiornamento del cluster, utilizzando una configurazione aggiornata. Per ulteriori informazioni, consulta Archiviazione condivisa.

• Aggiungi nuovi parametri di configurazione Efse impostazioni di archiviazione FsxLustrecondivisa DeletionPolicy per supportare la conservazione dello spazio di archiviazione.

• Aggiungi il supporto per Slurm contabilità con nuovo parametro di configurazione Scheduling/SlurmSettings/Database. Per ulteriori informazioni, consulta Slurm contabilità con AWS ParallelCluster.

• Aggiunge il supporto per On-Demand Capacity Reservations (ODCR) e per i gruppi di risorse per la prenotazione della capacità. Per ulteriori informazioni, consulta Avvio di istanze con On-Demand Capacity Reservations (ODCR).

• Aggiungi un nuovo parametro di configurazione per specificare la versione IMDS da supportare in un cluster o crea un'infrastruttura di immagini nel cluster, Imds/e build ImdsSupport, Imds/ImdsSupport, configurazioni.

• Aggiungi il supporto per Networking/PlacementGroupnella sezione SlurmQueues/ComputeResources.

• Aggiungi il supporto per le istanze con più interfacce di rete limitate a un solo ENI per dispositivo.

• Migliora la convalida della rete per i file system Amazon EFS esterni controllando il blocco CIDR nel gruppo di sicurezza collegato.

• Aggiungi un validatore per verificare se i tipi di istanza configurati supportano i gruppi di posizionamento.

• Configura i thread NFS in modo che siano min (256, max (8, num_cores * 4)) per garantire stabilità e prestazioni migliori.

• Sposta l'installazione di NFS in fase di compilazione per ridurre i tempi di configurazione.

• Abilita la crittografia lato server per l'argomento EcrImageBuilder SNS che viene creato durante la distribuzione dell' AWS ParallelCluster API e viene utilizzato per notificare gli eventi di creazione dell'immagine docker.

Modifiche:

• Modifica il comportamento di SlurmQueues/Networking/PlacementGroup/Enabled. Ora crea un gruppo di posizionamento gestito unico per ogni risorsa di calcolo anziché un singolo gruppo di posizionamento gestito per tutte le risorse di calcolo.

• Aggiunge il supporto per SlurmQueues/Networking/PlacementGroup/Namecome metodo di denominazione preferito.

• Sposta i tag del nodo principale da Launch Template alla definizione dell'istanza per evitare la sostituzione del nodo principale durante gli aggiornamenti dei tag.

• Disabilita il multithreading tramite script eseguito cloud-init e non tramite CpuOptions set nel Launch Template.

• Aggiorna Python alla versione 3.9 e NodeJS alla versione 16 nell'infrastruttura API, nel contenitore API Docker e nelle risorse Lambda del cluster.

• Rimuovi il supporto per Python 3.6 in. aws-parallelcluster-batch-cli

• Upgrade Slurm alla versione 22.05.5 (da21.08.8-2).

• Aggiorna il driver NVIDIA alla versione 470.141.03 (da470.129.06).

• Aggiorna NVIDIA Fabric Manager alla versione 470.141.03 (da470.129.06).

• Aggiorna NVIDIA CUDA Toolkit alla versione 11.7.1 (). from 11.4.4

• Aggiorna Python usato in AWS ParallelCluster virtualenvs da a. 3.7.13 3.9.15

• Aggiorna il programma di installazione EFA alla versione 1.18.0.

  • Driver EFA: (nessuna modifica) efa-1.16.0-1

  • Configurazione EFA: () efa-config-1.11-1 from efa-config-1.10-1

  • Profilo EFA: (nessuna modifica) efa-profile-1.5-1

  • libFabric-AWS: (da). libfabric-aws-1.16.0~amzn4.0-1 libfabric-aws-1.16.0~amzn2.0-1

  • RDMA-Core: (da) rdma-core-41.0-2 rdma-core-37.0

  • Apri MPI: (da) openmpi40-aws-4.1.4-2 openmpi40-aws-4.1.1-2

• Aggiorna NICE DCV alla versione 2022.1-13300 (da2022.0-12760).

• Abilita la soppressione del modulo. SingleSubnetValidator Queues

• Non sostituite DRAIN i nodi quando i nodi sono attivi, poiché COMPLETING Epilog potrebbe essere ancora in esecuzione.

Correzioni di bug

• Risolve la convalida del parametro dei filtri nel AWS ParallelCluster ListClusterLogStreams comando in modo che fallisse quando vengono passati filtri errati.

• Corregge la convalida del parametro SharedStorage/EfsSettingsin modo che non riesca la convalida quando FileSystemId viene specificato insieme ad altri SharedStorageparametri/. EfsSettings In precedenza, FileSystemId non era incluso.

• Corregge l'aggiornamento del cluster quando si modifica l'ordine SharedStorageinsieme ad altre modifiche nella configurazione.

• Correzione UpdateParallelClusterLambdaRole nell' AWS ParallelCluster API in cui caricare i log. CloudWatch

• Risolto il problema che Cinc non utilizzava il pacchetto di certificati CA locali durante l'installazione dei pacchetti prima dell'esecuzione di qualsiasi libro di cucina.

• Risolve un problema nell'aggiornamento di Ubuntu con when is set. pcluster build-image Build:UpdateOsPackages:Enabled:true

• Risolve l'analisi della configurazione del cluster YAML fallendo sulle chiavi duplicate.

• È stata aggiunta la versione 3 AWS ParallelCluster Riferimento API alla documentazione.

Miglioramenti:

• Migliora la logica per associare le tabelle di routing dell'host alle diverse schede di rete per supportare meglio le istanze Amazon con diverse EC2 istanze. NICs

Modifiche:

• Aggiorna il driver NVIDIA alla versione 470.141.03.

• Aggiorna NVIDIA Fabric Manager alla versione 470.141.03.

• Disattiva le attività cron lavorative man-db e ciò mlocate potrebbe avere un impatto negativo sulle prestazioni dei nodi.

• Aggiornare la libreria Intel MPI alla versione 2021.6.0.602.

• Aggiorna Python da 3.7.10 a 3.7.13 in risposta a questo rischio per la sicurezza.

Correzioni di bug

• Evita di fallire DescribeCluster quando la configurazione del cluster non è disponibile.

Miglioramenti:

• Aggiungi il supporto per la pianificazione basata sulla memoria in Slurm.

  • Configura la memoria reale dei nodi di calcolo in Slurm configurazione del cluster.

  • Aggiungi un nuovo parametro di configurazione Scheduling/SlurmSettings/EnableMemoryBasedSchedulingper abilitare la pianificazione basata sulla memoria in Slurm.

  • Aggiungi un nuovo parametro di configurazione Scheduling//SlurmQueuesComputeResources/SchedulableMemoryper sovrascrivere il valore predefinito della memoria visualizzato dallo scheduler sui nodi di calcolo.

• Migliora la flessibilità sugli aggiornamenti della configurazione del cluster per evitare l'arresto e l'avvio dell'intero cluster quando possibile. Aggiungi un nuovo parametro di configurazione Scheduling/SlurmSettings/QueueUpdateStrategyper impostare la strategia preferita da utilizzare quando i nodi di calcolo richiedono un aggiornamento e una sostituzione della configurazione.

• Migliora il meccanismo di failover sulle risorse di elaborazione disponibili in caso di problemi di capacità insufficiente con le istanze Amazon. EC2 Disattiva i nodi di calcolo entro un periodo di tempo configurabile quando l'avvio di un nodo fallisce a causa di una capacità insufficiente.

• Aggiungi il supporto per montare i FSx for OpenZFSfile system esistenti FSx for ONTAPe quelli esistenti.

• Aggiungi il supporto per montare più istanze di file system Amazon Elastic esistenti, FSx per Lustre, FSx per ONTAP e FSx per OpenZFS.

• Aggiungi il supporto FSx per il tipo di distribuzione Lustre Persistent_2 durante la creazione di un nuovo file system.

• Richiedi all'utente di abilitare EFA per i tipi di istanza supportati quando utilizza la procedura guidata. pcluster configure

• Aggiungi il supporto per il riavvio dei nodi di calcolo utilizzando Slurm.

• Migliora la gestione di Slurm stati di alimentazione per tenere conto anche dello spegnimento manuale dei nodi.

• Installa NVIDIA GDRCopy 2.3 nel prodotto AMIs per abilitare la copia della memoria GPU a bassa latenza.

Modifiche:

• Aggiorna il programma di installazione EFA alla versione 1.17.2.

  • Driver EFA: efa-1.16.0-1

  • Configurazione EFA: efa-config-1.10-1

  • Profilo EFA: efa-profile-1.5-1

  • Libfabric: libfabric-aws-1.16.0~amzn2.0-1

  • Codice RDMA: rdma-core-41.0-2

  • Apri MPI: openmpi40-aws-4.1.4-2

• Aggiorna NICE DCV alla versione 2022.0-12760.

• Aggiorna il driver NVIDIA alla versione 470.129.06.

• Aggiorna NVIDIA Fabric Manager alla versione 470.129.06.

• Cambia i tipi di volume EBS predefiniti da gp2 a gp3 sia nel volume root che in quello aggiuntivo.

• Modifiche ai file system FSx for Lustre create da: AWS ParallelCluster

  • Modificare il tipo di distribuzione predefinito in. Scratch_2

  • Cambia la versione del server Lustre in. 2.12

• Non richiede che PlacementGroup/sia Enabledimpostato su true quando si passa unPlacementGroup/Idesistente.

• Non consente l'impostazionePlacementGroup/IdquandoPlacementGroup/Enabledè impostato esplicitamente su. false

• Aggiungi parallelcluster:cluster-name tag a tutte le risorse create da AWS ParallelCluster.

• Aggiungi lambda:ListTags e ParallelClusterUserRole utilizza lambda:UntagResource lo stack AWS ParallelCluster API per l'aggiornamento del cluster.

• Limita IPv6 l'accesso solo agli utenti root e amministratori del cluster, quando il parametro di configurazioneHeadNode/Imds/Securedè abilitato. IMDS

• Con un'AMI personalizzata, utilizza la dimensione del volume root AMI anziché quella ParallelCluster predefinita di 35 GiB. Il valore può essere modificato nel file di configurazione del cluster.

• Disattivazione automatica della flotta di elaborazione quando il parametro di configurazioneScheduling//SlurmQueuesComputeResources/SpotPriceè inferiore al prezzo minimo richiesto per l'evasione delle richieste Spot.

• Visualizzazione requested_value e current_value valori nel set di modifiche quando si aggiunge o si rimuove una sezione durante un aggiornamento.

• Disattiva aws-ubuntu-eni-helper il servizio, disponibile in Deep Learning AMIs, per evitare conflitti configure_nw_interface.sh durante la configurazione di istanze con più schede di rete.

• Rimuovi il supporto per Python 3.6.

• Imposta MTU su 9001 per tutte le interfacce di rete quando configuri istanze con più schede di rete.

• Rimuovi il punto finale quando configuri l'FQDN del nodo di calcolo.

• Gestisci i nodi statici in. POWERING_DOWN

• Non sostituisce il nodo dinamico in POWER_DOWN quanto i lavori potrebbero essere ancora in esecuzione.

• Riavvio clustermgtd e slurmctld daemon al momento dell'aggiornamento del cluster solo quando Scheduling i parametri vengono aggiornati nella configurazione del cluster.

• File di aggiornamento slurmctld e slurmd systemd assistenza.

• Limita IPv6 l'accesso a IMDS solo agli utenti amministratori root e del cluster, quando il parametro di configurazioneHeadNode/Imds/Securedè abilitato.

• Imposta Slurm la configurazione AuthInfo=cred_expire=70 per ridurre il tempo richiesto, i lavori devono attendere prima di ricominciare quando i nodi non sono disponibili.

• Aggiorna le dipendenze dei libri di cucina di terze parti:

  • apt-7.4.2 (da apt-7.4.0)

  • line-4.5.2 (dalla riga 4.0.1)

  • openssh-2.10.3 (da openssh-2.9.1)

  • pyenv-3.5.1 (da pyenv-3.4.2)

  • selinux-6.0.4 (da selinux-3.1.1)

  • yum-7.4.0 (da yum-6.1.1)

  • yum-epel-4.5.0 (da yum-epel-4.1.2)

Correzioni di bug

• Correggi il comportamento predefinito per saltare i passaggi di AWS ParallelCluster convalida e test quando crei un'AMI personalizzata.

• Risolve la perdita di dati sulla gestione dei file. computemgtd

• Risolve una condizione di gara che causava sporadicamente la chiusura immediata delle istanze avviate perché non erano ancora disponibili nella risposta. EC2 DescribeInstances

• Corregge il supporto per il DisableSimultaneousMultithreading parametro sui tipi di istanza con processori Arm.

• AWS ParallelCluster Risolve l'errore di aggiornamento dello stack API durante l'aggiornamento da una versione precedente. Aggiungi il modello di risorse utilizzato per l'ListImagePipelineImagesazione in. EcrImageDeletionLambdaRole

• Correggi l' AWS ParallelCluster API aggiungendo le autorizzazioni mancanti necessarie per importare o esportare da Amazon S3 durante la creazione di FSx un file system for Lustre.

Nuove sezioni:

• Migliori pratiche: avvisi sul budgetV3

• Migliori pratiche: spostare un cluster in una nuova versione AWS ParallelCluster secondaria o patchV3

• Lavorare con Amazon S3V3

• Utilizzo di Istanze spotV3

• Slurm modalità protetta dal clusterV3

• AWS ParallelCluster risorse e etichettaturaV3

• CloudWatch Pannello di controllo AmazonV3

• Integrazione con Amazon CloudWatch LogsV3

• Elastic Fabric AdapterV3

• AWS ParallelCluster Personalizzazione AMIV3

• Avvio di istanze con On-Demand Capacity Reservations (ODCR)V3

• Patch AMI e sostituzione delle EC2 istanze AmazonV3

• Come AWS ParallelCluster funzionaV3

• Configurazione della crittografia dello storage condiviso con una chiave AWS KMSV3

• Esecuzione di processi in un cluster in modalità coda multiplaV3

• Utilizzo dell' AWS ParallelCluster APIV3

Aggiornamenti della sezione:

• Migliori pratiche: prestazioni di reteV3: Sono state aggiunte le migliori pratiche per l'utilizzo di Elastic Fabric Adaptor.

• AWS Identity and Access Management autorizzazioni in AWS ParallelClusterV3: Vari aggiornamenti e aggiunti. Politica AWS ParallelCluster pcluster utente aggiuntiva per l'utilizzo di Amazon FSx for Lustre

• AWS ParallelCluster risoluzione dei problemiV3: Vari aggiornamenti.

Miglioramenti:

• Aggiungi la convalida per DirectoryService/PasswordSecretArnin modo che fallisca se il segreto non esiste.

  Aggiungi il supporto per abilitare l'autenticazione JWT Slurm.

Modifiche:

• Upgrade Slurm alla versione 21.08.8-2.

• Creazione Slurm con supporto JWT.

• Non richiede che PlacementGroup/sia Enabledimpostato su true quando si passa unPlacementGroup/Idesistente.

• Aggiungi lambda:TagResource a ParallelClusterUserRole utilizzato dallo stack ParallelCluster API per la creazione di cluster e la creazione di immagini.

Correzioni di bug

• Risolvi la possibilità di esportare i log di un cluster quando si utilizza il export-cluster-logs comando con l'--filtersopzione.

• Correggi il punto di ingresso di AWS Batch Docker per utilizzare la directory /home condivisa per coordinare l'esecuzione del Multi-node-Parallel lavoro.

• Reimposta l'indirizzo del nodo durante l'impostazione Slurm un nodo statico non funzionante è inattivo per evitare di considerare un nodo statico non funzionante con capacità insufficiente come nodo di errore di bootstrap.

Miglioramenti:

• Esegui la creazione della chiave SSH insieme alla creazione della directory HOME, ad esempio durante l'accesso SSH, quando passi a un altro utente e quando esegui un comando come altro utente.

• Aggiungi il supporto per FQDN e LDAP Distinguished Names nel parametro di configurazione/. DirectoryServiceDomainName Il nuovo validatore ora controlla entrambe le sintassi.

• Il nuovo update_directory_service_password.sh script distribuito sul nodo principale supporta l'aggiornamento manuale della password di Active Directory nella configurazione SSSD. La password viene recuperata dall'annuncio dalla configurazione del AWS Secrets Manager cluster.

• Aggiungi il supporto per implementare l'infrastruttura API in ambienti senza un VPC predefinito.

Modifiche:

• Disabilita gli stati C più profondi in x86_64 ufficiali AMIs e AMIs creati tramite build-image comando, per garantire alte prestazioni e bassa latenza.

• Aggiornamenti dei pacchetti del sistema operativo e correzioni di sicurezza.

• Modifica le immagini di base di Amazon Linux 2 da utilizzare AMIs con Kernel 5.10.

Correzioni di bug

• Correggi lo stack di build-image DELETE_FAILED dopo che l'immagine è stata creata con successo, grazie alle nuove politiche di Image Builder EC2 .

• Correggi il parametro di configurazione DirectoryService/la DomainAddrconversione nella proprietà SSSD ldap_uri quando contiene più indirizzi di dominio.

Modifiche:

• Upgrade Slurm alla versione 21.08.6 (da21.08.5).

Correzioni di bug

• Corregge l'aggiornamento del /etc/hosts file sui nodi di calcolo quando un cluster viene distribuito in sottoreti senza accesso a Internet.

• Correggi il bootstrap dei nodi di calcolo in modo che attenda l'inizializzazione delle unità temporanee prima di entrare nel cluster.

• Aggiungi il supporto per ambienti cluster di più utenti mediante l'integrazione con i domini Active Directory (AD) gestiti tramite. AWS Directory Service

• Aggiungi il supporto per UseEc2Hostnamesnel file di configurazione del cluster. Se impostato su true, usa i nomi host EC2 predefiniti di Amazon (ad esempio ip-1-2-3-4) per i nodi di calcolo.

• Aggiungi il supporto per la creazione di cluster in sottoreti senza accesso a Internet.

• Aggiungi il supporto per più tipi di istanze di calcolo per coda.

• Aggiungi il supporto per la pianificazione della GPU con Slurm su istanze ARM con schede NVIDIA.

• Aggiungi flag abbreviati per cluster-name (-n), region (-r), image-id (-i) ecluster-configuration/image-configuration(-c) alla CLI AWS ParallelCluster .

• Aggiungi il supporto per NEW_CHANGED_DELETED l'opzione FSx per il parametro Lustre. AutoImportPolicy

• Aggiungi parallelcluster:compute-resource-name tag alle EC2 LaunchTemplates risorse utilizzate dai nodi di calcolo.

• Migliora i gruppi di sicurezza creati all'interno del cluster per consentire le connessioni in entrata da gruppi di sicurezza personalizzati quando vengono specificati SecurityGroups i parametri per alcuni nodi principali e/o code.

• Installa i driver NVIDIA e la libreria CUDA per ARM.

Modifiche:

• Upgrade Slurm alla versione 21.08.5 (da20.11.8).

• Upgrade Slurm dal plugin alla versione 21.08 (da20.11).

• Aggiorna NICE DCV alla versione 2021.3-11591 (da2021.1-10851).

• Aggiorna il driver NVIDIA alla versione 470.103.01 (da470.57.02).

• Aggiorna NVIDIA Fabric Manager alla versione 470.103.01 (da470.57.02).

• Aggiorna CUDA alla versione 11.4.4 (da11.4.0).

• Intel MPI aggiornato alla versione 2021 Update 4 (aggiornato dalla versione 2019 Update 8). Per ulteriori informazioni, vedere Intel® MPI Library 2021 Update 4.

• Esegui l'aggiornamento PMIx alla versione 3.2.3 (da3.1.5).

• Rimuovi il dumping dei nodi di calcolo guasti su. /home/logs/compute I file di log dei nodi di calcolo sono disponibili nei CloudWatch e nei log EC2 della console Amazon.

• Abilita la possibilità di sopprimere SlurmQueues e ComputeResources allungare i validatori.

• Disattiva l'aggiornamento del pacchetto al momento del lancio dell'istanza su Amazon Linux 2.

• Disattiva i metadati delle immagini EC2 ImageBuilder avanzate di Amazon durante la creazione di immagini AWS ParallelCluster personalizzate.

• Imposta esplicitamente l'cloud-initorigine dei dati su. EC2 Ciò consente di risparmiare tempo di avvio per le piattaforme Ubuntu e CentOS.

• Usa il nome della risorsa di calcolo anziché il tipo di istanza nel nome del modello di avvio della flotta di calcolo.

• Reindirizza stderr e stdout al file di registro della CLI per evitare testo indesiderato nell'output della CLI di pcluster.

• Sposta le ricette di configurazione/installazione in libri di cucina separati che vengono richiamati da quello principale. I punti di ingresso esistenti vengono mantenuti e compatibili con le versioni precedenti.

• Scarica le dipendenze della piattaforma Intel HPC durante la fase di creazione dell'AMI per evitare di contattare Internet durante la creazione del cluster.

• Non - togliete il nome della risorsa di calcolo durante la configurazione dei nodi Slurm.

• Non configurate in GPUs Slurm quando il driver NVIDIA non è installato.

• Correggi ecs:ListContainerInstances l'autorizzazione inBatchUserRole.

• Corregge l'esportazione dei log del cluster quando non è specificato alcun prefisso, precedentemente esportati in un prefisso. None

• Risolve il problema del rollback che non veniva eseguito in caso di errore di aggiornamento del cluster.

• Correggi ecs:ListContainerInstances l'autorizzazione inBatchUserRole.

• Correggi RootVolume lo schema HeadNode generando un errore se ne KmsKeyId viene specificato uno non supportato.

• Correggi le metriche FSx mancanti di Amazon da visualizzare nella CloudWatch Dashboard.

• CorreggiEfaSecurityGroupValidator. In precedenza, poteva produrre falsi errori quando venivano forniti gruppi di sicurezza personalizzati e l'EFA era abilitato.

• Disabilita log4j-cve-2021-44228-hotpatch agent (Log4jHotPatch) su Amazon Linux 2 per evitare un potenziale peggioramento delle prestazioni. Per ulteriori informazioni, consulta l'annuncio di Amazon Linux Hotpatch per Apache Log4j.

Aggiorna il Elastic Fabric Adapter programma di installazione alla versione 1.14.1

• Configurazione EFA: (da) efa-config-1.9-1 efa-config-1.9

• Profilo EFA: efa-profile-1.5-1 (da) efa-profile-1.5

• Modulo EFA Kernel: efa-1.14.2 (da) efa-1.13.0

• Core RDMA: rdma-core-37.0 (da) rdma-core-35

• Libfabric: libfabric-1.13.2 (da) libfabric-1.13.0

• Apri MPI: openmpi40-aws-4.1.1-2 (nessuna modifica)

Strumento di migrazione per la configurazione del cluster

• I clienti possono ora migrare le configurazioni dei cluster dal formato della AWS ParallelCluster versione 2 al formato della versione 3 basato su YAML AWS ParallelCluster . Per ulteriori informazioni, consulta pcluster3-config-converter.

Il nodo principale può essere interrotto

• Dopo aver interrotto la flotta di elaborazione, il nodo principale può essere arrestato e riavviato successivamente utilizzando la EC2 console Amazon o il comando stop-instances. AWS CLI

Regione AWS Lettura predefinita dal file ~/.aws/config

• Per il pcluster comando, se non Regione AWS è specificato nel file di configurazione, nell'ambiente o nella riga di comando, viene utilizzata l'regionimpostazione predefinita Regione AWS specificata nell'impostazione nella [default] sezione del ~/.aws/config file.

Supporto per la gestione dei cluster tramite Amazon API Gateway

• I clienti possono ora gestire e distribuire i cluster tramite endpoint HTTP con Amazon API Gateway. Questo apre nuove possibilità per flussi di lavoro basati su script o basati su eventi.

  Anche l'interfaccia a riga di AWS ParallelCluster comando (CLI) è stata riprogettata per essere compatibile con questa API e include una nuova opzione di output JSON. Questa nuova funzionalità consente ai clienti di implementare funzionalità di base simili anche utilizzando la CLI.

Creazione di AMI personalizzate migliorate

• I clienti hanno ora accesso a un processo più affidabile per la creazione e la gestione di prodotti personalizzati AMIs utilizzando EC2 Image Builder. La personalizzazione AMIs può ora essere gestita tramite un file di AWS ParallelCluster configurazione separato e può essere creata utilizzando il pcluster build-image comando nell'interfaccia a riga di AWS ParallelCluster comando.