Auftragsüberwachung und Debugging - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auftragsüberwachung und Debugging

Sie können Metriken sammeln über AWS Glue Jobs und visualisieren Sie sie auf der AWS Glue und CloudWatch Amazon-Konsolen zur Identifizierung und Behebung von Problemen. Profilierung Ihres AWS Glue Jobs erfordert die folgenden Schritte:

  1. Metriken aktivieren:

    1. Aktivieren der Option Job metrics (Auftragsmetriken) in der Auftragsdefinition. Sie können die Profilerstellung aktivieren in AWS Glue Konsole oder als Parameter für den Job. Weitere Informationen finden Sie unter Definieren von Auftragseigenschaften für Spark-Aufträge oder Verwenden von Jobparametern in AWS Glue-Jobs.

    2. Aktivieren des AWS Glue Option für Messwerte zur Beobachtbarkeit in der Jobdefinition. Sie können Observability aktivieren in AWS Glue Konsole oder als Parameter für den Job. Weitere Informationen finden Sie unter Überwachen mit AWS Glue Beobachtbarkeitsmetriken.

  2. Vergewissern Sie sich, dass das Auftragsskript einen GlueContext initialisiert. Beispiel: Der folgende Skriptausschnitt initialisiert einen GlueContext und zeigt, wo der profilierte Code im Skript platziert wird. Dieses allgemeine Format wird in den folgenden Debugging-Szenarien verwendet. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Führen Sie den Auftrag aus.

  4. Metriken visualisieren:

    1. Visualisieren Sie Job-Metriken auf der AWS Glue Konsolen Sie und identifizieren Sie ungewöhnliche Messwerte für den Fahrer oder einen Testamentsvollstrecker.

    2. Überprüfen Sie die Messwerte zur Beobachtbarkeit auf der Seite zur Überwachung von Jobläufen, auf der Seite mit den Details zur Jobausführung oder bei Amazon CloudWatch. Weitere Informationen finden Sie unter Überwachen mit AWS Glue Beobachtbarkeitsmetriken.

  5. Grenzen Sie die Ursache mithilfe der identifizierten Metrik ein.

  6. Optional bestätigen Sie die Ursache mithilfe des Protokollstreams des identifizierten Treibers oder Auftrags-Executors.

Anwendungsfälle für AWS Glue Messwerte zur Beobachtbarkeit