Solución de problemas de escalar

• /var/log/cfn-init.log- Este es el registro de AWS CloudFormation inicio. Contiene todos los comandos que se ejecutaron al configurar una instancia. Se usa para solucionar problemas de inicialización.

• /var/log/chef-client.log- Este es el registro del cliente de Chef. Contiene todos los comandos que se ejecutaron a través de CINC Chef/. Se usa para solucionar problemas de inicialización.

• /var/log/parallelcluster/slurm_resume.log- Es un ResumeProgram registro. Lanza instancias para nodos dinámicos. Se usa para solucionar problemas de lanzamiento de nodos dinámicos.

• Este es el registro de . Se llama cuando se terminan las instancias de los nodos dinámicos. Se usa para solucionar problemas de terminación de nodos dinámicos. Cuando revise este registro, también debe comprobar el registro de clustermgtd.

• Este es el registro de . Se ejecuta como el daemon centralizado que gestiona la mayoría de las acciones operativas del clúster. Se usa para solucionar cualquier problema de inicio, finalización o funcionamiento del clúster.

• /var/log/slurmctld.log- Este es el Slurm registro de demonios de control. AWS ParallelCluster no toma decisiones de escalado. Más bien, solo intenta lanzar recursos para satisfacer las Slurm requisitos. Es útil para problemas de escalado y asignación, problemas relacionados con el trabajo y cualquier problema de lanzamiento y finalización relacionado con el programador.

• /var/log/parallelcluster/compute_console_output- Este registro registra la salida de la consola de un subconjunto de ejemplos de nodos de cómputo estáticos que han terminado inesperadamente. Utilice este registro si los nodos de cómputo estáticos terminan y los registros de los nodos de cómputo no están disponibles en CloudWatch. El compute_console_output log contenido que recibes es el mismo cuando utilizas la EC2 consola de Amazon o AWS CLI cuando recuperas el resultado de la consola de la instancia.

• Este es el registro init del archivo . Contiene todos los comandos que se ejecutaron al configurar una instancia. Se usa para solucionar problemas de inicialización.

• Este es el registro de . Se ejecuta en cada nodo de cómputo para monitorizarlo en el raro caso de que el clustermgtd daemon del nodo principal esté desconectado. Se usa para solucionar problemas de terminación inesperados.

• /var/log/slurmd.log- Este es el Slurm computar el registro daemon. Se usa para solucionar problemas de inicialización y errores de computación.

Según su caso de uso, considere la posibilidad de utilizar uno de los siguientes métodos para evitar recibir este tipo de mensajes de error:

• Deshabilite el grupo de ubicación si está activado. Para obtener más información, consulte Problemas con los grupos de ubicación y el lanzamiento de instancias.

• Reserve capacidad para las instancias y láncelas con ODCR (reservas de capacidad bajo demanda). Para obtener más información, consulte Lance instancias con reservas de capacidad bajo demanda (ODCR).

• Configure varios recursos informáticos con distintos tipos de instancias. Si su carga de trabajo no requiere un tipo de instancia específico, puede aprovechar la conmutación por error rápida y con capacidad insuficiente con varios recursos informáticos. Para obtener más información, consulte Conmutación por error rápida de capacidad insuficiente en el clúster de Slurm.

• Configura varios tipos de instancias en el mismo recurso informático y aprovecha la asignación de varios tipos de instancias. Para obtener más información sobre la configuración de varias instancias, consulte Asignación de varios tipos de instancias con Slurm y Scheduling/SlurmQueues/ComputeResources/Instances.

• Mueva la cola a una zona de disponibilidad diferente cambiando el ID de subred en la configuración del clúster Scheduling//SlurmQueues/Networking. SubnetIds

• Si su carga de trabajo no está estrechamente vinculada, distribuya la cola entre distintas zonas de disponibilidad. Para obtener más información acerca de la configuración de las subredes, consulte .

• /var/log/cfn-init.log

• /var/log/chef-client.log

• /var/log/parallelcluster/clustermgtd

• /var/log/parallelcluster/slurm_resume.log

• /var/log/slurmctld.log

• Registros aplicables:

  • /var/log/cloud-init-output.log

  • /var/log/slurmd.log

• Si se lanza un nodo de cómputo/var/log/cloud-init-output.log, compruebe primero que contenga los registros de configuración similares al /var/log/chef-client.log registro del nodo principal. La mayoría de los errores que se producen durante la configuración deberían tener mensajes de error ubicados en el registro de /var/log/cloud-init-output.log. Si se especifican scripts previos o posteriores a la instalación en la configuración del clúster, compruebe que se hayan ejecutado correctamente.

• Si utiliza una versión personalizada AMI con modificaciones en la Slurm configuración, entonces puede haber una Slurmrelacionado con un error que impide que el nodo de cómputo se una al clúster. Para ver los errores relacionados con el programador, consulte el registro. /var/log/slurmd.log

• Busque en el registro de ResumeProgram (/var/log/parallelcluster/slurm_resume.log) el nombre de su nodo de computación para ver si alguna vez se llamó a ResumeProgram con el nodo. (Si ResumeProgram nunca se llamó, puede comprobar el slurmctld registro (/var/log/slurmctld.log) para determinar si Slurm alguna vez intentó llamar ResumeProgram con el nodo).

• Tenga en cuenta que los permisos incorrectos activados en ResumeProgram pueden provocar un error silencioso en ResumeProgram. Si utilizas una configuración personalizada AMI con modificaciones en la ResumeProgram configuración, comprueba que ResumeProgram sea propiedad del slurm usuario y que tenga el permiso 744 (rwxr--r--).

• Si se llama a ResumeProgram, compruebe si se ha lanzado una instancia para el nodo. Si no se lanzó ninguna instancia, verás un mensaje de error que describe el error de lanzamiento.

• Si se lanza la instancia, es posible que haya habido un problema durante el proceso de configuración. Debería ver la dirección IP privada y el ID de instancia correspondientes en el registro de ResumeProgram. Además, puede consultar los registros de configuración correspondientes a la instancia específica. Para obtener más información acerca de la solución de problemas relacionados con un nodo de computación, consulte la siguiente sección.

• Compruebe el registro clustermgtd (/var/log/parallelcluster/clustermgtd) para ver si se han lanzado instancias para el nodo. Si no se lanzaron, debería haber un mensaje de error claro que detalle el error de lanzamiento.

• Si se lanza la instancia, hay algún problema durante el proceso de configuración. Debería ver la dirección IP privada y el ID de instancia correspondientes en el registro de ResumeProgram. Además, puede consultar los registros de configuración correspondientes a la instancia específica.

• Si es la primera vez que utiliza instancias de spot y el trabajo permanece en estado de PD (pendiente), compruebe el /var/log/parallelcluster/slurm_resume.log archivo. Probablemente encuentre un error como el siguiente:

  2022-05-20 13:06:24,796 - [slurm_plugin.common:add_instances_for_nodes] - ERROR - Encountered exception when launching instances for nodes (x1) ['spot-dy-t2micro-2']: An error occurred (AuthFailure.ServiceLinkedRoleCreationNotPermitted) when calling the RunInstances operation: The provided credentials do not have permission to create the service-linked role for Amazon EC2 Spot Instances.

  Al utilizar instancias de spot, en la cuenta se debe incluir un rol vinculado a un servicio AWSServiceRoleForEC2Spot. Para crear este rol en tu cuenta mediante el AWS CLI, ejecuta el siguiente comando:

  $ aws iam create-service-linked-role --aws-service-name spot.amazonaws.com

  Para obtener más información, consulte Uso de instancias de spot la Guía del AWS ParallelCluster usuario y la función vinculada al servicio para las solicitudes de instancias puntuales de la Guía EC2del usuario de Amazon.

• Registros aplicables:

  • /var/log/parallelcluster/clustermgtd (nodo principal)

  • /var/log/slurmctld.log (nodo principal)

  • /var/log/parallelcluster/computemgtd (nodo de computación)

• Para comprobar si clustermgtd ha sustituido o finalizado un nodo, compruebe el registro . Tenga en cuenta que clustermgtd gestiona todas las acciones normales de mantenimiento del nodo.

• Si clustermgtd se reemplaza o se cierra el nodo, debería haber un mensaje que detalle por qué se realizó esta acción en el nodo. Si el motivo está relacionado con el programador (por ejemplo, el nodo está en DOWN), consulte el registro slurmctld para obtener más detalles. Si el motivo está EC2 relacionado con Amazon, debería haber un mensaje informativo que detalle el problema EC2 relacionado con Amazon que requirió el reemplazo.

• Si clustermgtd no canceló el nodo, compruebe primero si se trataba de una terminación prevista por parte de AmazonEC2, más específicamente, de una terminación puntual. computemgtd, que se ejecuta en un nodo de cómputo, también puede cerrar un nodo si clustermgtd se determina que está en mal estado. Compruebe el registro de computemgtd (/var/log/parallelcluster/computemgtd) para ver si computemgtd ha terminado el nodo.

• Compruebe el registro de slurmctld (/var/log/slurmctld.log) para ver por qué ha fallado un trabajo o un nodo. Tenga en cuenta que los trabajos se vuelven a poner en cola automáticamente si se produce un error en un nodo.

• Si slurm_resume informa de que el nodo se ha lanzado y, después de varios minutos, clustermgtd informa de que no hay ninguna instancia correspondiente en Amazon EC2 para ese nodo, es posible que el nodo produzca un error durante la configuración. Para recuperar el registro de un compute (/var/log/cloud-init-output.log), siga estos pasos:

  • Envía un trabajo para alquilarlo Slurm crea un nuevo nodo.

  • Espere a que se inicie el nodo de cómputo.

  • Modifique el comportamiento de cierre iniciado por la instancia para que un nodo de cómputo que falle se detenga en lugar de terminar.

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --instance-initiated-shutdown-behavior "{\"Value\": \"stop\"}"

  • Habilite la protección de terminación.

    $ aws ec2 modify-instance-attribute \
        --instance-id i-1234567890abcdef0 \
        --disable-api-termination

  • Etiquete el nodo para que sea fácilmente identificable.

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=Name,Value=QUARANTINED-Compute

  • Separe el nodo del clúster cambiando la parallelcluster:cluster-name etiqueta.

    $ aws ec2 create-tags \
        --resources i-1234567890abcdef0 \
        --tags Key=parallelcluster:clustername,Value=QUARANTINED-ClusterName

  • Recupere la salida de la consola del nodo con este comando.

    $ aws ec2 get-console-output --instance-id i-1234567890abcdef0 --output text

• Registros aplicables:

  • /var/log/parallelcluster/clustermgtd (nodo principal)

  • /var/log/parallelcluster/slurm_suspend.log (nodo principal)

• En la mayoría, clustermgtd administra todas las acciones de finalización de instancias esperadas. Consulte el registro clustermgtd para ver por qué no se ha podido sustituir o finalizar un nodo.

• En el caso de los nodos dinámicos que no superan el Propiedades de SlurmSettings, consulte el registro de SuspendProgram para ver si lo llamó slurmctld con el nodo específico como argumento. Tenga en cuenta que SuspendProgram no realiza ninguna acción específica. Más bien, solo se encarga de registrar cuando se le llama. La terminación de todas las instancias y el restablecimiento de NodeAddr los realiza clustermgtd. Slurm devuelve los nodos a un POWER_SAVING estado posterior SuspendTimeout automáticamente.

• Si los nodos de cómputo fallan continuamente debido a errores de arranque, compruebe si se están iniciando con la tecla Enabled. Modo protegido de clúster Slurm Si el modo protegido no está activado, modifique la configuración del modo protegido para activarlo. Solucione los problemas y corrija el script de arranque.