View a markdown version of this page

Amazon EMR-Clusterfehler: Knoten Deny-listed - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR-Clusterfehler: Knoten Deny-listed

Der NodeManager Daemon ist für den Start und die Verwaltung von Containern auf Kern- und Taskknoten verantwortlich. Die Container werden dem NodeManager Daemon von dem Daemon zugewiesen, der ResourceManager auf dem Master-Knoten läuft. Der ResourceManager überwacht den NodeManager Knoten durch einen Heartbeat.

Es gibt eine Reihe von Situationen, in denen der ResourceManager Daemon Deny die Liste a auflistet und ihn aus dem Pool der Knoten entfernt NodeManager, die zur Bearbeitung von Aufgaben zur Verfügung stehen:

  • Wenn der in den NodeManager letzten 10 Minuten (600.000 Millisekunden) keinen Heartbeat an den ResourceManager Daemon gesendet hat. Dieser Zeitraum kann über die Konfigurationseinstellung yarn.nm.liveness-monitor.expiry-interval-ms festgelegt werden. Weitere Informationen zur Änderung von Yarn-Konfigurationseinstellungen finden Sie unter Anwendungen konfigurieren im Amazon-EMR-Versionshandbuch.

  • NodeManager überprüft den Zustand der Festplatten, der durch und bestimmt wird. yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs Die Prüfungen umfassen Berechtigungen und freien Speicherplatz (< 90 %). Wenn ein Laufwerk die Prüfung nicht besteht, verwendet das NodeManager Laufwerk dieses Laufwerk nicht mehr, meldet den Knotenstatus jedoch weiterhin als fehlerfrei. Wenn mehrere Festplatten die Prüfung nicht bestehen, wird der Knoten als fehlerhaft gemeldet ResourceManager und dem Knoten werden keine neuen Container zugewiesen.

Der Anwendungsmaster kann die Liste eines NodeManager Knotens auch verweigern, wenn dieser mehr als drei fehlgeschlagene Aufgaben hat. Sie können hierfür mithilfe des Konfigurationsparameters mapreduce.job.maxtaskfailures.per.tracker einen höheren Wert einstellen. Andere Konfigurationseinstellungen, die Sie ändern können, steuern, wie oft versucht wird, eine Aufgabe auszuführen, bevor ein Fehler gemeldet wird: mapreduce.map.max.attempts für Map-Aufgaben und mapreduce.reduce.maxattempts für Reduce-Aufgaben. Weitere Informationen zur Änderung von Konfigurationseinstellungen finden Sie unter Anwendungen konfigurieren im Amazon-EMR-Versionshandbuch.