Monitorar trabalhos Spark do AWS Glue
Tópicos
Métricas do Spark disponíveis no AWS Glue Studio
A guia Metrics (Métricas) mostra métricas coletadas quando um trabalho é executado e a criação de perfil está ativada. Os seguintes gráficos são exibidos em trabalhos do Spark:
Movimentação de dados ETL
Perfil de memória: driver e executores
Escolha View additional metrics (Ver métricas adicionais) para mostrar os gráficos a seguir:
Movimentação de dados ETL
Perfil de memória: driver e executores
Embaralhamento de dados em executores
Carga da CPU: driver e executores
Execução de trabalho: executores ativos, estágios concluídos e executores máximos necessários
Os dados para esses gráficos serão enviados para as métricas do CloudWatch se o trabalho estiver configurado para coletar métricas. Para obter mais informações sobre como ativar métricas e interpretar os gráficos, consulte Monitoramento e depuração de trabalho.
exemplo Grafo de movimentação de dados de ETL
O gráfico de movimentação de dados ETL mostra as seguintes métricas:
O número de bytes lidos do Amazon S3 por todos os executores: glue.ALL.s3.filesystem.read_bytes
-
O número de bytes gravados no Amazon S3 por todos os executores: glue.ALL.s3.filesystem.write_bytes
exemplo Grafo de perfil de memória
O gráfico de perfil de memória mostra as seguintes métricas:
A fração de memória usada pelo heap da JVM para este driver (escala: 0–1) pelo driver, um executor identificado por executorId ou todos os executores:
exemplo Grafo de embaralhamento de dados em executores
O gráfico de embaralhamento de dados nos executores mostra as seguintes métricas:
O número de bytes lidos por todos os executores para embaralhar os dados entre eles — glue.driver.aggregate.shuffleLocalBytesRead
-
O número de bytes gravados por todos os executores para embaralhar os dados entre eles — glue.driver.aggregate.shuffleBytesWritten
exemplo Grafo de carga de CPU
O gráfico de carga de CPU mostra as seguintes métricas:
A fração de carga de sistema da CPU usada (escala: 0–1) pelo driver, um executor identificado por executorId ou todos os executores:
exemplo Grafo de execução de trabalho
O gráfico de execução de trabalho mostra as seguintes métricas:
O número de executores ativamente em execução — glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
O número de estágios concluídos — glue.aggregate.numCompletedStages
O número máximo de executores necessários — glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
