Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktivieren der kontinuierlichen Protokollierung für AWS Glue-Aufträge

Sie können die kontinuierliche Protokollierung über die AWS Glue Konsole oder über die AWS Command Line Interface (AWS CLI) aktivieren.

Sie können die kontinuierliche Protokollierung aktivieren, wenn Sie einen neuen Auftrag erstellen, einen vorhandenen Auftrag bearbeiten oder ihn über die aktivieren AWS CLI.

Sie können auch benutzerdefinierte Konfigurationsoptionen wie den Namen der Amazon CloudWatch Protokollgruppe, das Präfix des CloudWatch Protokollstreams vor der ID des Treibers/Executors der AWS Glue Auftragsausführung und das Protokollkonvertierungsmuster für Protokollmeldungen angeben. Diese Konfigurationen helfen Ihnen, Aggregatprotokolle in benutzerdefinierten CloudWatch Protokollgruppen mit unterschiedlichen Ablaufrichtlinien festzulegen und sie mit benutzerdefinierten Protokollstream-Präfixen und Konvertierungsmustern weiter zu analysieren.

Verwenden der AWS Management Console

Führen Sie diese Schritte durch, um die Konsole zum Aktivieren der kontinuierlichen Protokollierung beim Erstellen oder Bearbeiten eines AWS Glue-Auftrags zu verwenden.

Verwenden der AWS CLI

Um die kontinuierliche Protokollierung zu aktivieren, übergeben Sie die Auftragsparameter an einen AWS Glue-Auftrag. Übergeben Sie die folgenden speziellen Auftragsparameter ähnlich wie andere AWS Glue Auftragsparameter. Weitere Informationen finden Sie unter Verwenden von Jobparametern in AWS Glue-Jobs.

'--enable-continuous-cloudwatch-log': 'true'

Sie können einen benutzerdefinierten Amazon- CloudWatch Protokollgruppennamen angeben. Sofern nicht angegeben, lautet der Standardname der Protokollgruppe /aws-glue/jobs/logs-v2/.

'--continuous-log-logGroup': 'custom_log_group_name'

Sie können ein benutzerdefiniertes Amazon- CloudWatch Protokollstream-Präfix angeben. Sofern nicht angegeben, ist das standardmäßige Logstream-Präfix die Auftragsausführungs-ID.

'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'

Sie können ein benutzerdefiniertes Konvertierungsmuster für die kontinuierliche Protokollierung angeben. Sofern nicht angegeben, ist das Standardkonvertierungsmuster %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n. Beachten Sie, dass das Konvertierungsmuster nur für Treiberprotokolle und Executor-Protokolle gilt. Dies wirkt sich nicht auf die AWS Glue-Fortschrittsleiste aus.

'--continuous-log-conversionPattern': 'custom_log_conversion_pattern'

Protokollieren von anwendungsspezifischen Meldungen mit dem benutzerdefinierten Skript-Logger

Sie können den AWS Glue-Logger verwenden, um alle anwendungsspezifischen Meldungen im Skript zu protokollieren, die in Echtzeit an den Protokoll-Stream des Treibers gesendet werden.

Das folgende Beispiel zeigt ein Python-Skript.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Das folgende Beispiel zeigt ein Scala-Skript.

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Aktivieren des Fortschrittsbalkens zum Anzeigen des Auftragsfortschritts

AWS Glue stellt unter dem JOB_RUN_ID-progress-bar-Protokoll-Stream einen Echtzeit-Fortschrittsbalken bereit, mit dem der AWS Glue-Auftragsausführungsstatus überwacht werden kann. Derzeit unterstützt er nur Aufträge, die glueContext initialisieren. Wenn Sie einen reinen Spark-Auftrag ausführen, ohne glueContext zu initialisieren, wird der AWS Glue-Fortschrittsbalken nicht angezeigt.

Der Fortschrittsbalken wird alle 5 Sekunden aktualisiert.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Sicherheitskonfiguration mit kontinuierlicher Protokollierung

Wenn eine Sicherheitskonfiguration für CloudWatch Protokolle aktiviert ist, AWS Glue erstellt eine Protokollgruppe mit dem Namen wie folgt für kontinuierliche Protokolle:

<Log-Group-Name>-<Security-Configuration-Name>

Die Standard- und benutzerdefinierten Protokollgruppen lauten wie folgt:

Sie müssen zu Ihren IAM-logs:AssociateKmsKeyRollenberechtigungen hinzufügen, wenn Sie eine Sicherheitskonfiguration mit - CloudWatch Protokollen aktivieren. Wenn diese Berechtigung nicht enthalten ist, wird die fortlaufende Protokollierung deaktiviert. Um die Verschlüsselung für die CloudWatch Protokolle zu konfigurieren, folgen Sie außerdem den Anweisungen unter Verschlüsseln von Protokolldaten in CloudWatch Protokollen mit AWS Key Management Service im Amazon- CloudWatch Logs-Benutzerhandbuch.

Weitere Informationen zum Erstellen einer Sicherheitskonfiguration finden Sie hier: Sicherheitskonfigurationen auf der AWS Glue Konsole verwalten.