Supervisión de trabajos de Spark de AWS Glue
Temas
Métricas de Spark disponibles en AWS Glue Studio
La pestaña Metrics (Métricas) muestra las métricas recopiladas cuando se ejecuta un trabajo y se habilita la creación de perfiles. En los trabajos de Spark se muestran los gráficos siguientes:
Movimiento de datos de ETL
Perfil de la memoria: controlador y ejecutores
Elija View additional metrics (Ver métricas adicionales) para mostrar los siguientes gráficos:
Movimiento de datos de ETL
Perfil de la memoria: controlador y ejecutores
Mezcla de datos entre los ejecutores
Carga de la CPU: controlador y ejecutores
Ejecución de trabajo: ejecutores activos, etapas completadas y número máximo de ejecutores necesarios
Los datos de estos gráficos se insertan en las métricas de CloudWatch si el trabajo se configura para recopilar métricas. Para obtener más información acerca de cómo habilitar métricas e interpretar los gráficos, consulte Monitorización y depuración de trabajo.
ejemplo Gráfico de movimiento de datos de ETL
En el gráfico de movimiento de datos de ETL se muestran las siguientes métricas:
El número de bytes que leen todos los ejecutores de Amazon S3—glue.ALL.s3.filesystem.read_bytes
-
El número de bytes que escriben todos los ejecutores en Amazon S3—glue.ALL.s3.filesystem.write_bytes
ejemplo Gráfico de perfil de la memoria
En el gráfico de perfil de la memoria se muestran las siguientes métricas:
La fracción de la memoria usada por el montón de JVM para este controlador (escala: de 0 a 1), un ejecutor identificado por executorId, o todos los ejecutores.
ejemplo Gráfico de mezcla de datos entre los ejecutores
En el gráfico Mezcla de datos entre los ejecutores se muestran las siguientes métricas:
El número de bytes que leen todos los ejecutores para mezclar los datos entre ellos: glue.driver.aggregate.shuffleLocalBytesRead
-
El número de bytes que escriben todos los ejecutores para mezclar los datos entre ellos: glue.driver.aggregate.shuffleBytesWritten
ejemplo Gráfico de carga de la CPU
En el gráfico de carga de la CPU se muestran las siguientes métricas:
La fracción de la carga del sistema de CPU usada (escala: de 0 a 1) por el controlador, un ejecutor identificado por executorId, o todos los ejecutores.
ejemplo Gráfico de ejecución de trabajo
En el gráfico de ejecución de trabajo se muestran las siguientes métricas:
El número de ejecutores que se ejecutan activamente: glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
El número de etapas completadas: glue.aggregate.numCompletedStages
El número máximo de ejecutores necesarios: glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
