Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Rotierende Protokolle
Amazon EMR Serverless kann Spark-Anwendungsprotokolle und Ereignisprotokolle rotieren. Die Protokollrotation hilft bei dem Problem, dass lange laufende Jobs große Protokolldateien erzeugen, die Ihren gesamten Festplattenspeicher beanspruchen können. Durch das Rotieren von Protokollen können Sie Festplattenspeicher sparen und die Anzahl der fehlgeschlagenen Jobs reduzieren, da Sie keinen Speicherplatz mehr auf Ihrer Festplatte haben.
Die Protokollrotation ist standardmäßig aktiviert und nur für Spark-Jobs verfügbar.
Spark-Ereignisprotokolle
Anmerkung
Die Rotation des Spark-Ereignisprotokolls ist für alle EMR Amazon-Release-Labels verfügbar.
Anstatt eine einzelne Ereignisprotokolldatei zu generieren, rotiert EMR Serverless das Ereignisprotokoll in regelmäßigen Zeitintervallen und entfernt die älteren Ereignisprotokolldateien. Das Rotieren von Protokollen hat keine Auswirkungen auf die in den S3-Bucket hochgeladenen Protokolle.
Spark-Anwendungsprotokolle
Anmerkung
Die Rotation des Spark-Anwendungsprotokolls ist für alle EMR Amazon-Release-Labels verfügbar.
EMRServerless rotiert auch die Spark-Anwendungsprotokolle für Treiber und Executoren, wie z. B. Dateien und. stdout stderr Sie können auf die neuesten Protokolldateien zugreifen, indem Sie die Log-Links in Studio mithilfe der Links Spark History Server und Live UI auswählen. Protokolldateien sind die gekürzten Versionen der neuesten Protokolle. Um die älteren rotierten Protokolle zu sehen, müssen Sie beim Speichern von Protokollen einen Amazon S3 S3-Standort angeben. Weitere Informationen finden Sie unter Logging for EMR Serverless with Amazon S3 Buckets.
Die neuesten Protokolldateien finden Sie am folgenden Speicherort. EMRServerless aktualisiert die Dateien alle 15 Sekunden. Diese Dateien können zwischen 0 MB und 128 MB liegen.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
Der folgende Speicherort enthält die älteren rotierten Dateien. Jede Datei ist 128 MB groß.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Das gleiche Verhalten gilt auch für Spark-Executoren. Diese Änderung gilt nur für die S3-Protokollierung. Durch die Protokollrotation werden keine Änderungen an den auf Amazon hochgeladenen Protokollstreams vorgenommen CloudWatch.
EMRServerlose Versionen 7.1.0 und höher unterstützen Wiederholungsversuche für Streaming- und Batch-Jobs. Wenn Sie für Ihren Job Wiederholungsversuche aktiviert haben, fügt EMR Serverless dem Protokollpfad für solche Jobs ein Präfix hinzu, damit Sie die Protokolle besser verfolgen und voneinander unterscheiden können. Dieser Pfad enthält alle rotierten Protokolle.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
