Grundlegendes zu redigierten Protokollen

Zeitangaben — Dauer von Aufgaben und Phasen, Laufzeit, CPU-Zeit, Garbage-Collection-Zeit, Deserialisierungs- und Ergebnisserialisierungszeit, Shuffle-Wartezeit und Shuffle-Schreibzeit werden exakt beibehalten. Timings sind das Hauptsignal für die Leistungsanalyse.

Identifikatoren und Zähler der Spark-Ausführung — Auftrags-, Phasen-, Aufgaben- und Versuch-IDs, Partitionszahlen, Task-IDs, Executor-IDs, Hostnamen und Ports.

Struktur des Abfrageplans — Der physische Planbaum, einschließlich Operatornamen wie HashAggregateSortMergeJoin, undExchange, sodass Sie sehen können, wie der Plan aussieht und wie die Engine Ihre Abfrage ausgeführt hat. Ein Operatorname, der nicht von Spark stammt, wird als angezeigt[REDACTED].

Quellspaltennamen — Spaltennamen, die aus einer Tabelle stammen, die gerade gescannt wird, sodass Sie sehen können, welche Spalten in Filtern, Verknüpfungen und Aggregationen verwendet werden. Namen, die eine Abfrage erstellt, wie z. B. ein Alias, werden nicht beibehalten. Weitere Informationen finden Sie unter Wie werden Spalten- und Tabellennamen behandelt.

Scantyp und Dateiformat — Ein Scan-Operator schließt normalerweise den Namen der Tabelle ein, die gelesen wird. Der Name wird durch ein Formular ersetzt, das nur den Scantyp und das Dateiformat identifiziert, z. B.Scan parquet, sodass Sie immer noch erkennen können, wie Daten gelesen werden. Wenn das Dateiformat nicht AWS Clean Rooms erkannt wird, sieht der Operator so aus, als Scan ob es kein Format gibt.

Fehlerklassen — Wenn eine Abfrage fehlschlägt, identifizieren die Protokolle zwar die Art des Fehlers, aber nicht die Daten, die ihn verursacht haben. Sie melden die Fehlerklasse von Spark, den SQLSTATE-Code und die Standardnachricht, die Spark für diese Klasse definiert, wobei die <placeholder> Tokens der Nachricht nicht ausgefüllt sind, da die Werte, die sie füllen würden, aus den Daten stammen. Bei einer fehlgeschlagenen Umwandlung wird beispielsweise eine Meldung [CAST_INVALID_INPUT] gemeldet, in der beschrieben wird, dass ein Wert eines Typs nicht in einen anderen umgewandelt werden kann, ohne dass der Wert angezeigt wird. Wenn ein Fehler einen anderen verursacht, werden die Fehlerklassen in der Kette zusammen gemeldet, und zwar bis zu einigen Ebenen. Ein Fehler, der nicht von Spark herrührt, wird nur als Fehler gemeldet, der nicht von Spark stammt und keine Klasse enthält.

Einzelne Aufgabenfehler melden nur die Art des Fehlers, z. B. ExceptionFailure Sie haben keine eigene Fehlerklasse.

Spark-Konfiguration — Einstellungen, deren Werte immer Zahlen, Größen oder feste Schlüsselwörter sind und die am häufigsten zur Diagnose eines Leistungsproblems benötigt werden: Treiber- und Executor-Kerne und Speicher, Speicherfraktionen und Off-Heap-Einstellungen, dynamische Zuweisungseinstellungen, Einstellungen für die adaptive Abfrageausführung, Standardparallelität und Shuffle-Partitionsanzahl, Broadcast-Join-Schwellenwert, maximale Partitionsgröße, Shuffle-Komprimierungseinstellungen, Scheduler-Modus und Serializer. Die meisten anderen Konfigurationen sind geschwärzt, da Einstellungen Pfade, Bezeichner und Abfragetext enthalten können. Eine dieser Einstellungen wird auch weggelassen, wenn es sich bei ihrem Wert nicht um eine einfache Zahl, Größe oder ein Schlüsselwort handelt.

Speicherauslastung und Datenvolumen — Spitzenausführungsspeicher, Speicher- und Festplattenüberlastung, JVM-Speicher des Executors, zwischengespeicherte Datengrößen, Anzahl der Shuffle-Blocks und Anzahl der gelesenen und geschriebenen Byte und Datensätze, einschließlich Shuffle-Lese- und Schreibvolumes. Diese Zahlen sind eher abgerundet als exakt. Weitere Informationen finden Sie unter Wie unterscheiden sich redigierte Logs von Standard-Spark-Logs.

Warum ein Executor gestoppt wurde — Eine Kategorie für jeden Executor, der gestoppt wurde, z. B. weil der Speicher knapp wurde, vom Treiber heruntergefahren wurde, außer Betrieb genommen wurde oder nicht reagiert. Dies ist oft der schnellste Weg, um zu erklären, warum eine Abfrage fehlgeschlagen ist. In den Protokollen wird auch jeder Executor oder Host aufgezeichnet, für den Spark die Planung von Arbeiten eingestellt hat. Dies ist nützlich, wenn sich Fehler an einer Stelle wiederholen. Weitere Informationen finden Sie unter Wie unterscheiden sich redigierte Logs von Standard-Spark-Logs.

Details zum Fehler beim Shuffle-Abruf — Wenn eine Aufgabe keine Shuffle-Ausgabe abrufen kann, werden die Identifikatoren Shuffle, Map Index und Reduce zusammen mit dem Executor und dem Host, gegen den der Abruf versucht wurde, beibehalten. Auf diese Weise können Sie wiederholte Fehler anhand einer einzelnen Quelle, die normalerweise darauf hindeuten, dass der Executor nicht reagiert, von Fehlern unterscheiden, die sich über viele Quellen verteilen und in der Regel auf vorübergehende Netzwerkprobleme hinweisen.

Datenwerte — Literalwerte aus Ihrer Abfrage und Datenwerte aus einer beliebigen Tabelle. Ein Filterprädikat zeigt, welche Spalte gefiltert wurde, aber nicht den Wert, mit dem sie verglichen wurde.

Tabellennamen und Speicherorte — Tabellenkennungen, Datenbanknamen und Amazon S3-Pfade.

Abfragetext — Die SQL-Anweisung und jede mit der Abfrage verknüpfte Beschreibung.

Fehlermeldungstext und Stack-Traces — Da eine Fehlermeldung den Wert angeben kann, der den Fehler verursacht hat, werden der Meldungstext und die Stack-Traces entfernt. Der Name der zugrunde liegenden Ausnahmeklasse wird ebenfalls geschwärzt, da eine von einer benutzerdefinierten Funktion ausgelöste Ausnahme einen Namen trägt, den der Abfrageautor gewählt hat. Stattdessen wird die Spark-Fehlerklasse für die Abfrage und den Job beibehalten. Der Grund, warum eine Phase fehlgeschlagen ist, und der Grund, warum eine Aufgabe beendet wurde, werden ebenfalls geschwärzt.

Namen, die Spark für seine eigene Arbeit aufzeichnet — Die Namen und Aufrufseiten von Stages und zwischengespeicherten Datensätzen sowie der Name der Anwendung. Dies sind Freitextfelder, die einen Tabellennamen oder einen Speicherpfad wiedergeben können. In Spark History Server werden Stufen daher ohne die Beschreibungen angezeigt, mit denen sie normalerweise identifiziert werden würden. Sie lokalisieren eine Phase stattdessen anhand ihrer ID und ihrer Position im Plan.

Berechnete und mit Alias versehene Spaltennamen — Namen, die eine Abfrage erstellt und nicht aus einer Tabelle liest, da die Abfrage-Engine einen solchen Namen aus dem Ausdruck generiert und der Name einen Wert enthalten kann. Diese werden als numerische Bezeichner angezeigt, z. B. #42 Weitere Informationen finden Sie unter Wie werden Spalten- und Tabellennamen behandelt.

Scandetails — Das Leseschema, die bei jedem Scan angewendeten Filterprädikate (nach unten gerichtete Filter, Partitionsfilter und Datenfilter) und der Speicherort der Daten.

Links zu Treiber- und Executor-Protokollen — Die Log-URLs, die Spark für jeden Executor und für den Treiber aufzeichnet. In Spark History Server sind die Links, die normalerweise ein Treiber- oder Executor-Protokoll öffnen würden, nicht gefüllt.

Ressourcenkennungen und Dienstendpunkte — AWS Konto-IDs, ARNs, z. B. die von IAM-Rollen und AWS KMS -Schlüsseln, und die Endpunkt-URLs der Dienste, die zur Ausführung Ihrer Abfrage aufrufen. AWS Clean Rooms

AWS Servicedetails — AWS Clean Rooms Klassennamen, Klassenpfadeinträge, JVM-Konfiguration sowie Hadoop- und Systemeigenschaften. Jobeigenschaften werden ebenfalls geschwärzt, mit Ausnahme der Identifikatoren, die Spark History Server benötigt, um Jobs der Abfrageausführung zuzuordnen, zu der sie gehören.