Monitoraggio e debug dei processi

Abilitare i parametri:

1. Abilitare l'opzione Job metrics (Parametri processo) nella definizione del processo. È possibile abilitare la profilazione in AWS Glue console o come parametro del lavoro. Per ulteriori informazioni, consultare Definire le proprietà di processo per i processi Spark o Utilizzo dei parametri del lavoro nei lavori AWS Glue.

2. Abilitazione di AWS Glue Opzione relativa alle metriche di osservabilità nella definizione del lavoro. È possibile abilitare l'osservabilità in AWS Glue console o come parametro del lavoro. Per ulteriori informazioni, consulta Monitoraggio con AWS Glue Parametri di osservabilità.

Verificare che lo script del processo inizializzi un oggetto GlueContext. Il frammento di script seguente inizializza ad esempio un oggetto GlueContext e mostra dove viene inserito il codice profilato nello script. Questo formato generale viene usato negli scenari di debug seguenti.

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()  

Esegui il processo.

Visualizzare i parametri:

1. Visualizza le metriche del lavoro su AWS Glue consolate e identificate le metriche anomale per il conducente o l'esecutore.

2. Controlla le metriche di osservabilità nella pagina di monitoraggio del Job run, nella pagina dei dettagli del job run o su Amazon. CloudWatch Per ulteriori informazioni, consulta Monitoraggio con AWS Glue Parametri di osservabilità.

Risalire alla causa principale usando il parametro identificato.

Facoltativamente, confermare la causa principale usando il flusso di log del driver o dell'executor del processo identificato.