Surveillance et débogage des tâches

Activation des métriques :

1. Activer l'option de métriques de tâche dans la définition de la tâche. Vous pouvez activer le profilage dans AWS Glue console ou en tant que paramètre de la tâche. Pour plus d'informations, consultez Définition des propriétés des tâches Spark ou Utilisation des paramètres des tâches dans les tâches AWS Glue.

2. Activer la gem AWS Glue Option de métriques d'observabilité dans la définition de la tâche. Vous pouvez activer l'observabilité dans AWS Glue console ou en tant que paramètre de la tâche. Pour plus d'informations, voir Surveillance avec AWS Glue Métriques d'observabilité.

Vérifiez que le script de la tâche initialise un GlueContext. Par exemple, l'extrait de script suivant initialise un GlueContext et indique où le code profilé est placé dans le script. Ce format général est utilisé dans les scénarios de débogage suivants.

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()  

Exécutez la tâche.

Visualisez les métriques :

1. Visualisez les indicateurs relatifs aux tâches sur le AWS Glue console et identifiez les métriques anormales pour le pilote ou un exécuteur.

2. Consultez les indicateurs d'observabilité sur la page de surveillance des tâches, sur la page des détails de l'exécution des tâches ou sur Amazon CloudWatch. Pour de plus amples informations, veuillez consulter Surveillance avec AWS Glue Métriques d'observabilité.

Précisez la cause première à l'aide de la métrique identifiée.

Confirmez éventuellement la cause première à l'aide du flux de journaux du pilote identifié ou du programme d'exécution.