Monitorización y depuración de trabajo - AWS Glue

Monitorización y depuración de trabajo

Puede recopilar métricas acerca de los trabajos de AWS Glue y visualizarlas en las consolas de AWS Glue y Amazon CloudWatch para identificar y solucionar problemas. La generación de perfiles en sus trabajos de AWS Glue requiere los siguientes pasos:

  1. Habilitar las métricas:

    1. Habilite la opción Job metrics (Métricas del trabajo) en la definición de trabajo. Puede habilitar la creación de perfiles en la consola de AWS Glue o como parámetro del trabajo. Para obtener más información, consulte Definición de propiedades de trabajo para trabajos de Spark o Uso de los parámetros de trabajo en los trabajos de AWS Glue.

    2. Habilite la opción Métricas de observabilidad AWS Glue en la definición de trabajo. Puede habilitar la observabilidad en la consola de AWS Glue o como parámetro del trabajo. Para obtener más información, consulte Monitorización con métricas de observabilidad de AWS Glue.

  2. Confirme que el script de trabajo inicializa GlueContext. Por ejemplo, el siguiente fragmento de script inicializa GlueContext y muestra en qué parte del script se sitúa el código con perfil. Este formato general se usa en las situaciones de depuración siguientes. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Ejecute el trabajo.

  4. Visualización de las métricas:

    1. Visualice las métricas de trabajo en la consola AWS Glue e identifique las métricas que están fuera de lo normal para el controlador o un ejecutor.

    2. Compruebe las métricas de observabilidad en la página de monitorización de las ejecuciones de tareas, en la página de detalles de las ejecuciones de tareas o en Amazon CloudWatch. Para obtener más información, consulte Monitorización con métricas de observabilidad de AWS Glue.

  5. Acote la causa raíz mediante la métrica identificada.

  6. Opcionalmente, confirme la causa raíz mediante el flujo de registros del controlador o el ejecutor de trabajo identificado.

Casos de uso de las métricas de observabilidad de AWS Glue