Estados de ejecución de tareas de AWS Glue en la consola - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Estados de ejecución de tareas de AWS Glue en la consola

Puede ver el estado de un trabajo de AWS Glue extracción, transformación y carga (ETL) mientras se está ejecutando o después de que se haya detenido. Puede ver el estado mediante la consola de AWS Glue. Para obtener más información acerca de los estados de ejecución de un trabajo, consulte Estados de ejecución de trabajos de AWS Glue.

Acceso al panel de monitoreo de trabajos

Para acceder al panel de control de tareas, seleccione el enlace Supervisión de ejecución de tareas en el panel de AWS Glue navegación, en ETLtareas.

Información general del panel de monitoreo de trabajos

El panel de monitoreo de trabajos proporciona un resumen general de las ejecuciones de trabajos, con totales para los trabajos con un estado de En ejecución, Cancelado, Éxito o Error. Los cuadros adicionales proporcionan la tasa general de éxito de los trabajos ejecutados, el DPU uso estimado de los trabajos y un desglose de los recuentos de estado de los trabajos por tipo de trabajo, tipo de trabajador y día.

Los gráficos de los mosaicos son interactivos. Puede elegir cualquier bloque de un gráfico para ejecutar un filtro que muestre sólo esos trabajos en la tabla Ejecuciones de trabajo de la parte inferior de la página.

Puede cambiar el intervalo de fechas de la información mostrada en esta página mediante el selector Intervalo de fechas. Al cambiar el intervalo de fechas, los mosaicos de información se ajustan para mostrar los valores según la cantidad especificada de días antes de la fecha actual. También puede utilizar un intervalo de fechas específico si elige Personalizado desde el selector de intervalo de fechas.

Vista de las ejecuciones de trabajo

nota

El historial de ejecución de trabajos está disponible durante 90 días para su flujo de trabajo y ejecución de trabajos.

La lista de recursos Ejecuciones de trabajo muestra los trabajos para el intervalo de fechas especificado y los filtros.

Puede filtrar los trabajos según criterios adicionales, como el estado, el tipo de empleado, el tipo de trabajo y el nombre del trabajo. En el cuadro de filtro situado en la parte superior de la tabla, puede introducir el texto que desea utilizar como filtro. Los resultados de la tabla se actualizan con filas que contienen texto coincidente a medida que se escribe el texto.

Puede ver un subconjunto de los trabajos cuando selecciona elementos de los gráficos del panel de monitoreo de trabajos. Por ejemplo, si elige el número de trabajos en ejecución en el mosaico Resumen de ejecuciones de trabajo, la lista Ejecuciones de trabajo muestra sólo los trabajos que actualmente tienen un estado de Running. Si elige una de las barras del gráfico de barras Desglose por tipo de empleado, solo se muestran las ejecuciones de trabajos con el tipo y el estado de empleado coincidentes en la lista Ejecuciones de trabajo.

La lista de recursos Ejecuciones de trabajo muestra los detalles del trabajo. Puede ordenar las filas de la tabla si elige un encabezado de columna. Esta tabla contiene la siguiente información:

Propiedad Descripción
Nombre de trabajo El nombre del trabajo.
Tipo

El tipo del entorno de trabajo:

  • Glue ETL: se ejecuta en un entorno Apache Spark administrado porAWS Glue.

  • Glue Streaming: se ejecuta en un entorno Apache Spark y funciona ETL en flujos de datos.

  • Shell de Python: ejecuta scripts de Python como intérprete de comandos.

Hora de inicio

La fecha y la hora en que se inició la ejecución de este flujo de trabajo.

Hora de finalización

La fecha y la hora en que se completó la ejecución de este trabajo.

Estado de ejecución

El estado actual de la ejecución de flujo de trabajo. Los valores pueden ser:

  • STARTING

  • RUNNING

  • STOPPING

  • STOPPED

  • SUCCEEDED

  • FAILED

  • TIMEOUT

Tiempo de ejecución El periodo de tiempo que la ejecución de flujo de trabajo consumió recursos.
Capacidad

El número de unidades de procesamiento de AWS Glue datos (DPUs) que se asignaron para esta ejecución de trabajo. Para obtener más información sobre la planificación de la capacidad, consulte Supervisión de la planificación de la DPU capacidad en la Guía para AWS Glue desarrolladores.

Tipo de empleado

El tipo de empleado predefinido que se asigna cuando se ejecuta un trabajo. Los valores pueden ser G.1X, G.2X, G.4X o G.8X.

  • G.1X: al elegir este tipo, también debe proporcionar un valor para Número de empleados. Cada trabajador se asigna a 1 disco DPU (4 vCPUs o 16 GB de memoria) con 84 GB (aproximadamente 34 GB libres). Le recomendamos este tipo de proceso de trabajo para trabajos con un uso intensivo de la memoria. Esta es la opción predeterminada de Tipo de empleado para trabajos de AWS Glue versión 2.0 o posterior.

  • G.2X: al elegir este tipo, también debe proporcionar un valor para Number of workers (Número de empleados). Cada trabajador se asigna a 2 DPU (8vCPUs, 32 GB de memoria) con un disco de 128 GB (aproximadamente 77 GB libres). Recomendamos este tipo de empleado para trabajos con una utilización intensiva de la memoria y trabajos que ejecuten transformaciones de machine learning.

  • G.4X: al elegir este tipo, también debe proporcionar un valor para Número de empleados. Cada trabajador se asigna a 4 discos DPU (16 vCPUs o 64 GB de memoria) con 256 GB (aproximadamente 235 GB libres). Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los ETL trabajos de Spark de la AWS Glue versión 3.0 o posteriores en AWS las siguientes regiones: EE.UU. Este (Ohio), EE.UU. Este (Norte de Virginia), EE.UU. Oeste (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (Centro), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo).

  • G.8X: al elegir este tipo, también debe proporcionar un valor para Número de empleados. Cada trabajador se asigna a 8 DPU (32vCPUs, 128 GB de memoria) con 512 GB de disco (aproximadamente 487 GB libres). Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los ETL trabajos de Spark de la AWS Glue versión 3.0 o posteriores, en las mismas AWS regiones compatibles con el G.4X tipo de trabajador.

DPUhoras

Número estimado de unidades DPUs utilizadas para la ejecución del trabajo. A DPU es una medida relativa de la potencia de procesamiento. DPUsse utilizan para determinar el costo de ejecutar su trabajo. Para obtener más información, consulte la página de precios de AWS Glue.

Puede elegir cualquier ejecución de trabajo de la lista y ver información adicional. Elija una ejecución de trabajo y luego realice una de las operaciones siguientes:

  • Elija el menú Acciones y la opción Ver trabajo para ver el trabajo en el editor visual.

  • Elija el menú Acciones y la opción Detener ejecución para detener la ejecución actual del trabajo.

  • Pulse el botón Ver CloudWatch registros para ver los registros de ejecución del trabajo correspondiente a ese trabajo.

  • Elija Ver detalles para ver la página de detalles de ejecución de trabajo.

Visualización de los registros de ejecución de trabajo

Puede ver los registros de trabajo de diversas formas:

  • En la página Supervisión, en la tabla Ejecuciones de tareas, elija una ejecución de tareas y, a continuación, elija Ver CloudWatch registros.

  • En el editor visual de trabajos, en la pestaña Ejecuciones para un trabajo, elija los hipervínculos para ver los registros:

    • Registros: enlaces a los registros de trabajo de Apache Spark escritos cuando se habilita el registro continuo para una ejecución de trabajo. Al elegir este enlace, accederá a los Amazon CloudWatch registros del grupo de /aws-glue/jobs/logs-v2 registros. De forma predeterminada, los registros excluyen los mensajes de registro inútiles sobre los YARN latidos de Apache Hadoop y los del controlador o ejecutor de Apache Spark. Para obtener más información acerca del registro continuo, consulte Registro continuo para trabajos de AWS Glue en la Guía para desarrolladores de AWS Glue.

    • Registros de errores: enlaza con los registros escritos en stderr para esta ejecución de trabajo. Este enlace lo dirige a los registros de Amazon CloudWatch en el grupo de registros /aws-glue/jobs/error. Puede utilizar estos registros para ver detalles acerca de los errores que se encontraron durante la ejecución del trabajo.

    • Registros de salida: enlaza con los registros escritos en stdout para esta ejecución de trabajo. Este enlace lo dirige a los registros de Amazon CloudWatch en el grupo de registros /aws-glue/jobs/output. Puede utilizar esto registros para ver todos los detalles acerca de las tablas que se crearon en el AWS Glue Data Catalog y los errores que se encontraron.

Visualización de los detalles de una ejecución de trabajo

Puede elegir un trabajo de la lista Ejecuciones de trabajo en la página Monitoreo y, a continuación, elegir Ver detalles de la ejecución para ver información detallada sobre esa ejecución del trabajo.

La información que se muestra en la página detalles de ejecución de trabajo incluye lo siguiente:

Propiedad Descripción
Nombre de trabajo El nombre del trabajo.
Estado de ejecución

El estado actual de la ejecución de flujo de trabajo. Los valores pueden ser:

  • STARTING

  • RUNNING

  • STOPPING

  • STOPPED

  • SUCCEEDED

  • FAILED

  • TIMEOUT

Versión de Glue La versión de AWS Glue utilizada por la ejecución del trabajo.
Intento reciente El número de intentos de reintento automático para esta ejecución de trabajo.
Hora de inicio

La fecha y la hora en que se inició la ejecución de este flujo de trabajo.

Hora de finalización

La fecha y la hora en que se completó la ejecución de este trabajo.

Hora de inicio

El tiempo empleado en la preparación para ejecutar el trabajo.

Hora de ejecución

El tiempo empleado en la ejecución del script de trabajo.

Nombre del disparador

El nombre del desencadenador asociado con el trabajo.

Hora de la última modificación

La fecha en la que se modificó el trabajo por última vez.

Configuración de seguridad

La configuración de seguridad del trabajo, que incluye los ajustes de cifrado, cifrado y CloudWatch cifrado de marcadores de trabajo de Amazon S3.

Tiempo de espera El valor del umbral de tiempo de espera de ejecución del trabajo.
Capacidad asignada

El número de unidades de procesamiento de AWS Glue datos (DPUs) que se asignaron para esta ejecución de trabajo. Para obtener más información sobre la planificación de la capacidad, consulte Supervisión de la planificación de la DPU capacidad en la Guía para AWS Glue desarrolladores.

Capacidad máxima

La capacidad máxima disponible para la ejecución del trabajo.

Número de procesos de trabajo El número de empleados utilizados para la ejecución del trabajo.
Tipo de empleado

Tipo de empleados predefinidos asignados para la ejecución del trabajo. Los valores pueden ser G.1X o G.2X.

  • G.1X: al elegir este tipo, también debe proporcionar un valor para Número de empleados. Cada trabajador se asigna a 1 DPU (4vCPUs, 16 GB de memoria, 64 GB de disco) y proporciona 1 ejecutor por trabajador. Le recomendamos este tipo de proceso de trabajo para trabajos con un uso intensivo de la memoria. Esta es la opción predeterminada de Tipo de empleado para trabajos de AWS Glue versión 2.0 o posterior.

  • G.2X: al elegir este tipo, también debe proporcionar un valor para Number of workers (Número de empleados). Cada trabajador se asigna a 2 DPUs (8vCPUs, 32 GB de memoria, 128 GB de disco) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de empleado para trabajos con una utilización intensiva de la memoria y trabajos que ejecuten transformaciones de machine learning.

Registros Un enlace a los registros de trabajo para el registro continuo (/aws-glue/jobs/logs-v2).
Registros de salida Un enlace a los archivos de registro de salida del trabajo (/aws-glue/jobs/output).
Registros de errores Un enlace a los archivos de registro de error del trabajo (/aws-glue/jobs/error).

También puede ver los siguientes elementos adicionales, que también están disponibles al consultar la información de las ejecuciones de trabajos recientes. Para obtener más información, consulte Ver información sobre las ejecuciones de trabajos recientes.

Visualización de Amazon CloudWatch las métricas de una ejecución de trabajo de Spark

En la página de detalles de una ejecución de trabajo, debajo de la sección Detalles de la ejecución, puedes ver las métricas del trabajo. AWS Glue Studioenvía las métricas del trabajo a Amazon CloudWatch para cada trabajo ejecutado.

AWS Glue informa las métricas Amazon CloudWatch cada 30 segundos. Las métricas de AWS Glue representan valores delta que se obtienen de los valores notificados con anterioridad. Si procede, los paneles de métricas acumulan (suman) los valores de 30 segundos para obtener un valor para el último minuto en su totalidad. Sin embargo, las métricas de Apache Spark AWS Glue a las que Amazon CloudWatch se transfieren suelen ser valores absolutos que representan el estado actual en el momento en que se publican.

nota

Debe configurar su cuenta para acceder a Amazon CloudWatch,.

Las métricas proporcionan información sobre la ejecución de trabajo, como:

  • ETLMovimiento de datos: número de bytes leídos o escritos en Amazon S3.

  • Perfil de memoria: pila utilizada: cantidad de bytes de memoria que utiliza el montón de la máquina virtual Java (JVM).

  • Perfil de memoria: uso del montón: fracción de memoria (escala: 0—1), que se muestra como porcentaje, utilizada por el montón. JVM

  • CPUCarga: fracción de la carga del CPU sistema utilizada (escala: 0—1), que se muestra como porcentaje.

Visualización de Amazon CloudWatch las métricas de una ejecución de trabajo de Ray

En la página de detalles de una ejecución de trabajo, debajo de la sección Detalles de la ejecución, puedes ver las métricas del trabajo. AWS Glue Studioenvía las métricas del trabajo a Amazon CloudWatch para cada trabajo ejecutado.

AWS Glue informa las métricas Amazon CloudWatch cada 30 segundos. Las métricas de AWS Glue representan valores delta que se obtienen de los valores notificados con anterioridad. Si procede, los paneles de métricas acumulan (suman) los valores de 30 segundos para obtener un valor para el último minuto en su totalidad. Sin embargo, las métricas de Apache Spark AWS Glue a las que Amazon CloudWatch se transfieren suelen ser valores absolutos que representan el estado actual en el momento en que se publican.

nota

Debe configurar su cuenta para acceder Amazon CloudWatch, tal y como se describe en.

En los trabajos de Ray, puede ver los siguientes gráficos de métricas agregadas. Con ellos, puede crear un perfil del clúster y sus tareas y acceder a información detallada sobre cada nodo. Los datos de series temporales que respaldan estos gráficos están disponibles CloudWatch para su posterior análisis.

Perfil de la tarea: estado de la tarea

Muestra el número de tareas de Ray en el sistema. El ciclo de vida de cada tarea tiene su propia serie temporal.

Perfil de la tarea: nombre de la tarea

Muestra el número de tareas de Ray en el sistema. Solo se muestran las tareas pendientes y activas. A cada tipo de tarea (por su nombre) se asigna su propia serie temporal.

Perfil de clúster: CPUs en uso

Muestra el número de CPU núcleos que se utilizan. A cada nodo se asigna su propia serie temporal. Los nodos se identifican mediante direcciones IP, que son efímeras y solo se utilizan para identificación.

Perfil de clúster: uso de memoria del almacén de objetos

Muestra el uso de memoria por parte de la caché de objetos de Ray. A cada ubicación de memoria (memoria física, almacenada en caché en el disco y volcada a Amazon S3) recibe su propia serie temporal. El almacén de objetos administra el almacenamiento de datos en todos los nodos del clúster. Para obtener más información, consulte Objetos en la documentación de Ray.

Perfil de clúster: recuento de nodos

Muestra la cantidad de nodos aprovisionados para el clúster.

Detalle del nodo: CPU uso

Muestra CPU la utilización en cada nodo como porcentaje. Cada serie muestra un porcentaje agregado de CPU uso en todos los núcleos del nodo.

Detalle del nodo: uso de memoria

Muestra el uso de memoria (en GB) en cada nodo. Cada serie muestra la memoria agregada entre todos los procesos del nodo, incluidas las tareas de Ray y el proceso de almacenamiento de Plasma. Esto no reflejará los objetos almacenados en el disco o volcados a Amazon S3.

Detalle del nodo: uso del disco

Muestra el uso del disco (en GB) en cada nodo.

Detalle del nodo: velocidad de E/S del disco

Muestra las E/S del disco (en kB/s) en cada nodo.

Detalle del nodo: rendimiento de E/S de red

Muestra las E/S de red (en kB/s) en cada nodo.

Detalle del nodo: CPU utilizado por componente Ray

Muestra CPU el uso en fracciones de un núcleo. A cada componente de Ray en cada nodo se asigna su propia serie temporal.

Detalle del nodo: uso de la memoria por el componente de Ray

Muestra el uso de memoria en GiB. A cada componente de Ray en cada nodo se asigna su propia serie temporal.