Monitoramento e depuração de trabalho - AWS Glue

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitoramento e depuração de trabalho

Você pode coletar métricas sobre trabalhos do AWS Glue e visualizá-las nos consoles do AWS Glue e do Amazon CloudWatch para identificar e corrigir problemas. A criação do perfil dos seus trabalhos do AWS Glue requer as seguintes etapas:

  1. Habilitar métricas:

    1. Habilite a opção Job metrics (Métricas de trabalho) na definição do trabalho. Você pode habilitar a criação de perfil no console do AWS Glue ou como um parâmetro para o trabalho. Para obter mais informações, consulte Definir propriedades de trabalho para trabalhos do Spark ou Usar parâmetros de tarefa em tarefas do AWS Glue.

    2. Habilite a opção Métricas de observabilidade do AWS Glue na definição do trabalho. É possível habilitar a observabilidade no console do AWS Glue ou como parâmetro para o trabalho. Para ter mais informações, consulte Monitoramento com métricas de observabilidade do AWS Glue.

  2. Confirme se o script do trabalho inicializa um GlueContext. Por exemplo, o snippet de script a seguir inicializa um GlueContext e mostra onde o código perfilado é colocado no script. Este formato geral é usado nos cenários de depuração a seguir. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Execute o trabalho.

  4. Visualize as métricas:

    1. Visualize as métricas de trabalho no console do AWS Glue e identifique métricas anormais para o driver ou um executor.

    2. Verifique as métricas de observabilidade na página de monitoramento da execução de trabalhos, na página de detalhes da execução de trabalhos ou no Amazon CloudWatch. Para ter mais informações, consulte Monitoramento com métricas de observabilidade do AWS Glue.

  5. Refine a causa raiz usando a métrica identificada.

  6. Opcionalmente, confirme a causa raiz usando o fluxo de log do driver identificado ou executor do trabalho.

Casos de uso para métricas de observabilidade do AWS Glue