Actualizaciones de versiones de monitoreo Application-level monitoreo Job-level monitoreo Monitorización a nivel de trabajador laboral

Monitorización de trabajos y aplicaciones de EMR sin servidor

Con CloudWatch las métricas de Amazon para EMR Serverless, puede recibir CloudWatch métricas de 1 minuto y acceder a CloudWatch paneles para acceder a las operaciones y el rendimiento prácticamente en tiempo real de sus aplicaciones de EMR Serverless.

EMR Serverless envía métricas a cada minuto. CloudWatch EMR sin servidor emite estas métricas a nivel de aplicación, así como a nivel de trabajo, tipo de trabajador y tipo de asignación de capacidad.

Para empezar, utilice la plantilla de CloudWatch panel de control de EMR Serverless que se proporciona en el repositorio de EMR GitHub Serverless e impleméntela.

nota

Las cargas de trabajo interactivas EMR sin servidor solo tienen habilitada la monitorización a nivel de aplicación y tienen una nueva dimensión de tipo de trabajador Spark_Kernel. Para monitorizar y depurar sus cargas de trabajo interactivas, acceda a los registros y la IU de Apache Spark desde su espacio de trabajo de EMR Studio.

Supervisión de métricas

importante

Estamos reestructurando nuestra visualización de métricas para agregar ApplicationName y JobName como dimensiones. En la versión 7.10 y las versiones posteriores, las métricas antiguas ya no se actualizarán. En las versiones de EMR anteriores a la versión 7.10, las métricas antiguas seguirán disponibles.

Dimensiones actuales

La siguiente tabla describe las dimensiones de EMR sin servidor disponibles en el espacio de nombres AWS/EMR Serverless.

Dimensiones de las métricas de EMR sin servidor
Dimensión	Description (Descripción)
`ApplicationId`	Filtra todas las métricas de una aplicación de EMR sin servidor mediante el ID de la aplicación.
`ApplicationName`	Filtra todas las métricas de una aplicación de EMR sin servidor mediante el nombre. Si no se proporciona el nombre o si contiene caracteres que no sean ASCII, se publica como [Sin especificar].
`JobId`	Filtra todas las métricas de una ejecución del trabajo de EMR sin servidor mediante el ID.
`JobName`	Filtra todas las métricas de una ejecución de trabajo de EMR sin servidor mediante el nombre. Si no se proporciona el nombre o si contiene caracteres que no sean ASCII, se publica como [Sin especificar].
`WorkerType`	Filtra todas las métricas de un tipo de trabajador determinado. Por ejemplo, puede filtrar por `SPARK_DRIVER` y `SPARK_EXECUTORS` para los trabajos de Spark.
`CapacityAllocationType`	Filtra todas las métricas de un tipo de asignación de capacidad determinado. Por ejemplo, puede filtrar para `PreInitCapacity` por la capacidad preinicializada y `OnDemandCapacity` por todo lo demás.

Application-level monitoreo

Puede supervisar el uso de la capacidad a nivel de las aplicaciones EMR Serverless con las métricas de Amazon CloudWatch . También puede configurar una única pantalla para supervisar el uso de la capacidad de las aplicaciones en un CloudWatch panel de control.

Métricas de aplicaciones de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`MaxCPUAllowed`	El máximo de CPU permitida para la aplicación.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	El máximo de memoria permitida en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	El máximo de almacenamiento permitido en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	El número total de vCPU asignadas.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	El número total de trabajadores inactivos.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	La memoria total en GB asignada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	El número total de trabajadores pendientes de creación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	El número total de trabajadores que utiliza la aplicación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	El almacenamiento total en disco en GB asignado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	El número total de trabajadores disponibles.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Job-level monitoreo

Amazon EMR sin servidor envía las siguientes métricas a nivel de trabajo a Amazon CloudWatch cada minuto. Puede acceder a los valores de las métricas de las ejecuciones de trabajos agregados por estado de ejecución de trabajos. La unidad de cada una de las métricas es el recuento.

Métricas a nivel de trabajo de EMR sin servidor
Métrica	Description (Descripción)	Dimensión
`SubmittedJobs`	El número de trabajos en un estado de Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	El número de trabajos en un estado de Pendiente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	El número de trabajos en un estado de Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	El número de trabajos en un estado de En ejecución.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	El número de trabajos en un estado de Correcto.	`ApplicationId`, `ApplicationName`
`FailedJobs`	El número de trabajos en un estado de Error.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`

Puede monitorizar las métricas específicas del motor para los trabajos de EMR sin servidor en ejecución y completados con IU de aplicaciones específicas del motor. Cuando se accede a la IU de un trabajo en ejecución, se muestra la IU de la aplicación en directo con actualizaciones en tiempo real. Cuando se accede a la IU de un trabajo completado, se muestra la IU persistente de la aplicación.

Trabajos en ejecución

Para sus trabajos de EMR sin servidor en ejecución, acceda a una interfaz en tiempo real que proporcione métricas específicas del motor. Puede utilizar la IU de Apache Spark o la IU de Hive Tez para monitorizar y depurar sus trabajos. Para acceder a estas IU, utilice la consola de EMR Studio o solicite un punto de conexión URL seguro con la AWS Command Line Interface.

Trabajos completados

Para sus trabajos de EMR sin servidor completados, utilice el servidor de historial de Spark o la IU persistente de Hive Tez para acceder a los detalles de los trabajos, las etapas, las tareas y las métricas de las ejecuciones de trabajos de Spark o Hive. Para acceder a estas IU, utilice la consola de EMR Studio o solicite un punto de conexión URL seguro con la AWS Command Line Interface.

Monitorización a nivel de trabajador laboral

Amazon EMR Serverless envía a Amazon las siguientes métricas a nivel de trabajador que están disponibles en el espacio de AWS/EMRServerless nombres y en el grupo de Job Worker Metrics métricas. CloudWatch EMR sin servidor recopila puntos de datos de trabajadores individuales durante la ejecución de los trabajos a nivel de trabajo, tipo de trabajador y tipo de asignación de capacidad. Se puede utilizar ApplicationId como una dimensión para monitorizar varios trabajos que pertenecen a la misma aplicación.

nota

Para ver el total de CPU y memoria utilizadas por un trabajo de EMR Serverless al ver las métricas en la CloudWatch consola de Amazon, utilice la estadística como suma y el período como 1 minuto.

Métricas a nivel de trabajador laboral de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`WorkerCpuAllocated`	El número total de núcleos de vCPU asignados a los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerCpuUsed`	El número total de núcleos de vCPU utilizados por los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryAllocated`	La memoria total en GB asignada a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryUsed`	La memoria total en GB utilizada por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	El número de bytes de almacenamiento efímero asignados a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	El número de bytes de almacenamiento efímero utilizados por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageReadBytes`	El número de bytes leídos del almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageWriteBytes`	El número de bytes escritos en almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`

En los siguientes pasos, se describe cómo acceder a los distintos tipos de métricas.

Console

Para acceder a la IU de la aplicación con la consola

Navegue hasta la aplicación EMR sin servidor en EMR Studio siguiendo las instrucciones de Introducción a la consola.
Para acceder a las UI y los registros de aplicaciones específicas del motor para un trabajo en ejecución, realice lo siguiente:
1. Elija un trabajo con un estado RUNNING.
2. Seleccione el trabajo en la página de Detalles de la aplicación o vaya a la página de Detalles del trabajo correspondiente a su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o la IU de Spark o la IU de Hive Tez para ir a la aplicación de IU correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para acceder a los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.
Para acceder a las IU y los registros de aplicaciones específicas del motor para un trabajo completado, realice lo siguiente:
1. Elija un trabajo con un estado SUCCESS.
2. Seleccione el trabajo en la página Detalles de la aplicación de la aplicación o vaya a la página de Detalles del trabajo de su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o el Servidor del historial de Spark o la IU persistente de Hive Tez para ir a la IU de la aplicación correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para acceder a los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.

AWS CLI

Para acceder a la interfaz de usuario de la aplicación con AWS CLI

Para generar una URL que pueda usar para acceder a la IU de su aplicación, tanto para los trabajos en ejecución como para los completados, llame a la API GetDashboardForJobRun.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
La URL que genere es válida durante una hora.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Monitorización

Métricas del motor Spark