View a markdown version of this page

Notes de publication pour les versions de Slurm dans AWS PIÈCES - AWS PIÈCES

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Notes de publication pour les versions de Slurm dans AWS PIÈCES

Cette rubrique décrit les modifications importantes apportées à chaque version de Slurm actuellement prise en charge dans AWS PCS. Nous vous recommandons de vérifier les modifications entre l'ancienne et la nouvelle version lorsque vous mettez à niveau votre cluster.

Changements mis en œuvre dans AWS PIÈCES
  • Vous pouvez configurer gres.conf les enregistrements pour un groupe de nœuds de calcul avec la gresCustomSettings propriété et déclarer le GRES planifiable avec le paramètre Slurm Gres personnalisé. Cela vous permet de configurer la topologie du GPU, les périphériques MIG, les MPS, les shards et vos propres ressources génériques. Pour plus d’informations, consultez Configuration des paramètres GRES personnalisés dans AWS PIÈCES.

  • AWS PCS active la détection automatique de Slurm GRES par défaut sur les groupes de nœuds de calcul dotés de GPU. AWS Le PCS active la détection automatique uniquement lorsque la disposition du socket du nœud est connue. Pour plus d’informations, consultez Configuration des paramètres GRES personnalisés dans AWS PIÈCES.

  • AWS PCS configure la topologie du processeur d'un groupe de nœuds de calcul par défaut. Il détermine le nombre de domaines NUMA à partir du type et des ensembles d'instances SocketsCoresPerSocket, et Parameters=numa_node_as_socket sur chaque nœud. Pour plus d’informations, consultez Configuration de la topologie matérielle dans AWS PIÈCES.

  • CommitDelay=1est défini par défaut dansslurmdbd.conf. CommitDelaycontrôle la durée pendant laquelle slurmdbd les lots sont validés dans la base de données de comptabilité, et le paramétrer améliore les slurmdbd performances. Pour utiliser une valeur différente, définissez CommitDelay les paramètres slurmdbd.conf personnalisés de votre cluster.

  • L'API REST de Slurm lit le nom d'utilisateur dans le name champ de la id réclamation d'un JWT. Les userclaimfield revendications de niveau supérieur sun et personnalisées sont obsolètes. username Les jetons existants continuent de s'authentifier. Pour plus d’informations, consultez Authentification avec l'API REST de Slurm dans AWS PIÈCES.

  • Un seul exemple d'AMI prend désormais en charge chaque version de Slurm qui n'est pas EOL, et le nom de l'AMI ne contient plus de version de Slurm. Pour plus d’informations, consultez Utilisation d'exemples d'AMI.

  • Les clusters qui utilisent les plugins SPANK prennent en charge les mises à jour continues lorsque vous passez à la version 26.05 ou ultérieure. Les clusters qui utilisent les plugins de filtrage Slurm CLI prennent en charge les mises à jour continues lorsque vous effectuez une mise à jour à partir de la version 25.11 ou ultérieure. Pour plus d’informations, consultez Mettre à jour la version du planificateur d'un cluster dans AWS PIÈCES.

  • De nouveaux paramètres personnalisés sont disponibles : le paramètre de Exclusive file d'attente, PurgeJobEnvAfter les paramètres slurmdbd PurgeJobScriptAfter personnalisés, la PreserveCaseResource valeur du Parameters paramètre slurmdbd et la valeur de. REBOOT_ONLY HealthCheckNodeState

Dépréciations et suppressions
  • Slurm déconseille le réglage de ExclusiveUser file d'attente et la OverSubscribe=EXCLUSIVE valeur en faveur du nouveau paramètre de file d'attente. Exclusive AWS Le support ExclusiveUser de PCS est toujours OverSubscribe=EXCLUSIVE disponible le 26 mai, mais nous vous recommandons de migrer versExclusive.

  • Le slurm s'enlève. SchedulerParameters=enable_job_state_cache Supprimez-le des paramètres Slurm personnalisés de votre cluster avant de passer à la version 26.05.

Pour plus d'informations sur Slurm 26.05, consultez les publications suivantes :

Changements mis en œuvre dans AWS PIÈCES
  • Les journaux d'audit du planificateur sont désormais fournis séparément via le type de PCS_SCHEDULER_AUDIT_LOGS journal, ce qui simplifie le dépannage et l'audit grâce à un contrôle indépendant de la distribution des journaux. Pour plus d'informations, consultez la section Journaux d'audit du planificateur dans AWS PCS.

  • La file d'attente accélérée est activée par défaut. Les tâches qui échouent en raison de problèmes de nœuds (tels que des erreurs de capacité insuffisante) peuvent être mises en file d'attente avec la priorité de planification la plus élevée à l'aide de. sbatch --requeue=expedite Ceci est contrôlé par le paramètre SchedulerParameters=enable_expedited_requeue.

  • Le requeue_delay paramètre est disponible en tant que paramètre de cluster personnalisé avec une valeur par défaut de 5 secondes. Auparavant, le délai de file d'attente était lié à l'expiration des informations d'identification (70 secondes). Les administrateurs peuvent désormais le configurer indépendamment viaSchedulerParameters=requeue_delay=<seconds>.

  • HealthCheckNodeStateprend désormais en charge la START_ONLY valeur, qui exécute le programme de vérification de l'état uniquement au démarrage du nœud (slurmd start).

  • CommunicationParameters=disable_httpest configuré par défaut pour désactiver les points de terminaison HTTP (métriques et sondes de santé) introduits dans Slurm 25.11. Pour réactiver ces points de terminaison, définissez. CommunicationParameters=enable_http Pour plus d'informations, consultez la section Statistiques Slurm dans AWS PCS.

Problèmes connus
  • Slurm 25.11 valide AllowQOS et DenyQOS partitionne les paramètres même lorsqu'ils AccountingStorageEnforce=QOS ne sont pas définis. Si un QOS est référencé AllowQOS ou DenyQOS n'existe pas dans la base de données de comptabilité Slurm, il se ferme avec une slurmctld erreur fatale. Assurez-vous que toutes les valeurs QOS répertoriées dans la partition AllowQOS et les DenyQOS paramètres existent dans la base de données de comptabilité avant de passer à Slurm 25.11 ou de le redémarrer.

  • Le slurmd journal peut afficher le message d'erreurerror: cannot create url_parser context for http_parser/libhttp_parser. Il s'agit d'un problème connu de Slurm qui se produit même lorsqu'il CommunicationParameters=disable_http est configuré. L'erreur peut être ignorée en toute sécurité et n'affecte pas le fonctionnement du cluster.

Pour plus d'informations sur Slurm 25.11, consultez les publications suivantes :

Changements mis en œuvre dans AWS PIÈCES
  • Le Slurm requeue_on_resume_failure est désormais activé par défaut SchedulerParameter .

  • L'option « stderr » a été supprimée car elle était désactivée dans Slurm 25.05. LogTimeFormat

  • AWS PCS prend en charge la configuration Multi-cluster sackd : le nœud de connexion peut accéder à plusieurs clusters.

Pour plus d'informations sur Slurm 25.05, consultez les publications suivantes :

Changements mis en œuvre dans AWS PIÈCES

Pour plus d'informations sur Slurm 24.11, consultez les publications suivantes :

Changements mis en œuvre dans AWS PIÈCES
  • Le nouveau module Slurm Step Manager est désormais activé par défaut dans AWS PCS. Ce module offre des avantages significatifs en déchargeant la gestion des étapes du contrôleur central vers les nœuds de calcul, améliorant ainsi considérablement la simultanéité du système dans les environnements à forte utilisation des étapes. Pour prendre en charge cette configuration et améliorer l'isolation Prolog et l'exécution des Epilog processus, de nouveaux indicateurs de prolog (Contain,Alloc) sont activés.

  • La communication hiérarchique entre le contrôleur et les nœuds de calcul est activée pour optimiser la communication intra-nœud de Slurm, ce qui améliore l'évolutivité et les performances. De plus, la configuration de routage utilise désormais des listes de nœuds de partition pour les communications provenant du contrôleur, au lieu de l'algorithme de routage par défaut du plug-in, ce qui améliore la résilience du système.

  • Un nouveau plugin de hachage HashPlugin=hash/sha3 remplace le précédenthash/k12 plugin. Cette option est désormais activée par défaut dans les clusters AWS PCS.

  • Les journaux du contrôleur Slurm incluent désormais des fonctionnalités d'audit améliorées pour tous les appels de procédure à distance (RPC) entrants vers. slurmctld Les journaux incluent l'adresse source, l'utilisateur authentifié et le type RPC avant le traitement de la connexion.

Pour plus d'informations sur Slurm 24.05, consultez les publications suivantes :

Paramètres de Slurm que vous pouvez modifier AWS PIÈCES
  • La SuspendTime valeur par défaut est. 60 Utilisez le paramètre scaleDownIdleTimeInSeconds de configuration AWS PCS pour le définir. Pour plus d'informations, consultez le scaleDownIdleTimeInSeconds paramètre du type de ClusterSlurmConfiguration données dans la référence de l'API AWS PCS.

  • Le MaxJobCount et MaxArraySize est basé sur la taille que vous choisissez pour le cluster. Pour plus d'informations, consultez le size paramètre de l'action d'CreateClusterAPI dans la référence d'API AWS PCS.

  • Le paramètre SelectTypeParameters Slurm est défini par défaut sur. CR_CPU Vous pouvez le fournir comme valeur slurmCustomSettings pour le définir lorsque vous créez un cluster. Pour plus d'informations, consultez le slurmCustomSettings paramètre de l'action d'CreateClusterAPI et SlurmCustomSetting dans la référence de l'API AWS PCS.

  • Vous pouvez définir Prolog et Epilog au niveau du cluster. Vous pouvez le fournir comme valeur slurmCustomSettings pour le définir lorsque vous créez un cluster. Pour plus d'informations, consultez CreateCluster et SlurmCustomSetting dans la référence de l'API AWS PCS.

  • Vous pouvez définir Weight et RealMemory au niveau du groupe de nœuds de calcul. Vous pouvez le fournir comme valeur pour le slurmCustomSettings définir lorsque vous créez un groupe de nœuds de calcul. Pour plus d'informations, consultez CreateComputeNodeGroup et SlurmCustomSetting dans la référence de l'API AWS PCS.