Fehlerbehebung bei Cluster-Integritätsmetriken

Was ist passiert?

Eine Reihe von Instances konnte nicht gestartet werden, was auf unzureichende Berechtigungen mit Fehlercode zurückzuführen istUnauthorizedOperation.

Wie löst man das Problem?

Wenn Sie ein benutzerdefiniertes InstanceRoleoder konfiguriert haben InstanceProfile, überprüfen Sie Ihre IAM-Richtlinien und stellen Sie sicher, dass Sie die richtigen Anmeldeinformationen verwenden.

Suchen Sie in der clustermgtd Datei nach Fehlerdetails für statische Knoten. Überprüfen Sie die slurm_resume.log Datei auf Details zu dynamischen Knotenfehlern. Verwenden Sie die Details, um mehr über die fehlenden Berechtigungen zu erfahren, die hinzugefügt werden müssen.

Was ist passiert?

AWS ParallelCluster Instances konnten nicht gestartet werden, weil das vCPU-Limit auf Ihrem AWS-Konto für einen bestimmten Amazon EC2 EC2-Instance-Typ, den Sie für Cluster-Rechenknoten konfiguriert haben, erreicht wurde.

Wie löst man das Problem?

Suchen Sie in der clustermgtd Datei nach statischen Knoten nach dem VcpuLimitExceeded Fehler und suchen Sie in der slurm_resume.log Datei nach dynamischen Knoten, um weitere Informationen zu erhalten. Um dieses Problem zu beheben, können Sie eine Erhöhung Ihrer vCPU-Limits beantragen. Weitere Informationen darüber, wie Sie aktuelle Limits anzeigen und neue Limits anfordern können, finden Sie unter Amazon Elastic Compute Cloud Service-Kontingente im Amazon Elastic Compute Cloud-Benutzerhandbuch für Linux-Instances.

Was ist passiert?

Sie haben Ihr Amazon EBS-Volumenlimit auf Ihrem AWS-Konto erreicht und AWS ParallelCluster können keine Instances mit dem Fehlercode InsufficientVolumeCapacity oder VolumeLimitExceeded starten.

Wie löst man das Problem?

Überprüfen Sie die clustermgtd Datei auf statische Knoten und überprüfen Sie die slurm_resume.log Datei auf dynamische Knoten, um weitere Informationen zum Volumenlimit zu erhalten. Um dieses Problem zu lösen, können Sie ein anderes verwenden AWS-Region, vorhandene Volumes bereinigen oder sich an das AWS Support Center wenden, um eine Anfrage zur Erhöhung Ihres Amazon EBS-Volumenlimits einzureichen.

Was ist passiert?

AWS ParallelCluster hat nicht genügend Kapazität, um Amazon EC2 EC2-Instances auf Back-Nodes zu starten.

Wie löst man das Problem?

Überprüfen Sie die clustermgtd Datei auf statische Knoten und überprüfen Sie die slurm_resume.log Datei auf dynamische Knoten, um Informationen zu unzureichenden Kapazitätsfehlern zu erhalten. Folgen Sie den Anweisungen unter https://aws.amazon.com/premiumsupport/knowledge-center/ec2 -insufficient-capacity-errors/, um das Problem zu beheben.

Was ist passiert?

Die Amazon EC2 EC2-Instance für die Sicherung von Rechenknoten konnte nicht mit der CreateFleet oder RunInstance API gestartet werden.

Wie löst man das Problem?

Überprüfen Sie die clustermgtd Datei auf statische Knoten und überprüfen Sie die slurm_resume.log Datei auf dynamische Knoten, um Fehlerdetails zu erhalten.

Was ist passiert?

Eine Reihe von Compute-Instances wurde gestartet, später aber als fehlerhaft beendet.

Wie löst man das Problem?

Weitere Informationen zur Behebung fehlerhafter Knoten finden Sie unterBehebung unerwarteter Knotenersetzungen und -beendigungen.

Was ist passiert?

Eine Instanz kann dem Cluster nicht innerhalb des resume_timeout (für dynamische Knoten) oder node_replacement_timeout (für statische Knoten) beitreten. Dies kann der Fall sein, wenn das Netzwerk für die Rechenknoten nicht richtig konfiguriert ist, oder wenn die Fertigstellung benutzerdefinierter Skripts, die auf dem Rechenknoten ausgeführt werden, zu lange dauert.

Wie löst man das Problem?

Überprüfen Sie bei dynamischen Knoten das clustermgtd Log (/var/log/parallelcluster/clustermgtd) auf die IP-Adresse des Rechenknotens und auf Fehler wie die folgenden:

Node bootstrap error: Resume timeout expires for node

Überprüfen Sie bei statischen Knoten das clustermgtd log (/var/log/parallelcluster/clustermgtd) auf die IP-Adresse des Rechenknotens und auf Fehler wie die folgenden:

Node bootstrap error: Replacement timeout expires for node ... in replacement.

Weitere Informationen finden Sie in der /var/log/cloud-init-output.log Datei auf Fehler. Sie können problematische Compute-Knoten-IP-Adressen aus den Dateien clustermgtd und den slurm_resume Protokolldateien abrufen.

Was ist passiert?

Eine Instance hat eine Amazon EC2 EC2-Zustandsprüfung nicht bestanden.

Wie löst man das Problem?

Informationen zur Behebung dieses Problems finden Sie unter Problembehandlung bei Instanzen mit fehlgeschlagenen Statusprüfungen.

Was ist passiert?

Eine Instance hat die Zustandsprüfung eines geplanten Amazon EC2 EC2-Ereignisses nicht bestanden und ist fehlerhaft.

Wie löst man das Problem?

Informationen zur Behebung dieses Problems finden Sie unter Geplante Ereignisse für Ihre Instances.

Was ist passiert?

AWS ParallelCluster kann keine Instanzen finden, die Knoten unterstützen. Die Knoten haben sich während der Bootstrap-Operationen wahrscheinlich selbst beendet. SlurmQueues/CustomActions/OnNodeStart| OnNodeConfiguredSkript- oder Netzwerkfehler können dazu führen. NoCorrespondingInstanceErrors

Wie löst man das Problem?

Weitere Informationen finden Sie unter /var/log/cloud-init-output.log für den Rechenknoten.

Was ist passiert?

Ihre Instanz wird nicht ordnungsgemäß beendet. MaxDynamicNodeIdleTimezeigt die maximale Zeit in Sekunden an, die ein dynamischer Knoten, der von einer Amazon EC2 EC2-Instance unterstützt wird, inaktiv ist. Der Idle Time Scaledown-Schwellenwert wird aus dem Cluster-Konfigurationsparameter abgeleitet. ScaledownIdletime Wenn ein Rechenknoten länger als Idle Time Scaledown Sekunden inaktiv war, Slurm wird der Knoten heruntergefahren und die unterstützende Instance AWS ParallelCluster beendet. In diesem Fall verhindert etwas die Beendigung der Instanz.

Wie löst man das Problem?

Weitere Informationen zu diesem Problem finden Sie Ersetzen, Beenden oder Herunterfahren problematischer Instanzen und Knoten unterBehebung von Skalierungsproblemen.