Amazon EMR-Clusterfehler: Knoten auf der Deni-List-Liste - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR-Clusterfehler: Knoten auf der Deni-List-Liste

Der NodeManager Daemon ist für den Start und die Verwaltung von Containern auf Core- und Task-Knoten verantwortlich. Die Container werden dem NodeManager Daemon von dem Daemon zugewiesen, der ResourceManager auf dem Master-Knoten läuft. Der ResourceManager überwacht den NodeManager Knoten über einen Heartbeat.

Es gibt eine Reihe von Situationen, in denen der ResourceManager Daemon eine Liste auflistet und sie aus dem Pool der Knoten entfernt NodeManager, die für die Bearbeitung von Aufgaben zur Verfügung stehen:

  • Wenn der in den NodeManager letzten 10 Minuten (600.000 Millisekunden) keinen Heartbeat an den ResourceManager Daemon gesendet hat. Dieser Zeitraum kann über die Konfigurationseinstellung yarn.nm.liveness-monitor.expiry-interval-ms festgelegt werden. Weitere Informationen zur Änderung von Yarn-Konfigurationseinstellungen finden Sie unter Anwendungen konfigurieren im Amazon-EMR-Versionshandbuch.

  • NodeManager überprüft den Zustand der Festplatten, der durch und bestimmt wird. yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs Die Prüfungen umfassen Berechtigungen und freien Speicherplatz (< 90 %). Wenn eine Festplatte die Prüfung nicht besteht, verwendet sie diese bestimmte Festplatte nicht NodeManager mehr, meldet den Knotenstatus aber trotzdem als fehlerfrei. Wenn mehrere Festplatten die Prüfung nicht bestehen, wird der Knoten als fehlerhaft gemeldet ResourceManager und dem Knoten werden keine neuen Container zugewiesen.

Der Anwendungsmaster kann einen NodeManager Knoten auch ablehnen, wenn er mehr als drei fehlgeschlagene Aufgaben hat. Sie können hierfür mithilfe des Konfigurationsparameters mapreduce.job.maxtaskfailures.per.tracker einen höheren Wert einstellen. Andere Konfigurationseinstellungen, die Sie ändern können, steuern, wie oft versucht wird, eine Aufgabe auszuführen, bevor ein Fehler gemeldet wird: mapreduce.map.max.attempts für Map-Aufgaben und mapreduce.reduce.maxattempts für Reduce-Aufgaben. Weitere Informationen zur Änderung von Konfigurationseinstellungen finden Sie unter Anwendungen konfigurieren im Amazon-EMR-Versionshandbuch.