¿Qué herramientas hay disponibles para la solución de problemas de un clúster de Amazon EMR?
Para identificar y corregir los errores del clúster, puede utilizar las herramientas que se describen en esta página. Es posible que tenga que inicializar algunas de las herramientas al lanzar el clúster. De forma predeterminada, hay otras herramientas disponibles para cada clúster.
Temas
Ver detalles del clúster de EMR
Puede utilizar la AWS Management Console, la AWS CLI o la API de EMR para recuperar información detallada sobre un clúster de EMR y sobre la ejecución de trabajos. Para obtener más información sobre cómo usar la AWS Management Console y la AWS CLI, consulte Visualización del estado y los detalles del clúster de Amazon EMR.
Panel de detalles de la consola de Amazon EMR
En la lista Clústeres de la consola de Amazon EMR puede ver información de alto nivel sobre el estado de cada clúster de su cuenta y su Región de AWS. En la lista, se muestran todos los clústeres activos y terminados que ha lanzado en los dos últimos meses. En la lista Clusters (Clústeres), puede seleccionar el Name (Nombre) de un clúster para ver los detalles del clúster. Esta información está organizada en distintas categorías para poder consultarla más fácilmente.
La opción Interfaces de usuario de aplicaciones, disponible en la página de detalles del clúster, puede ser especialmente útil para la resolución de problemas. Proporciona el estado de las aplicaciones de YARN y, en algunos casos, como en las aplicaciones de Spark, puede explorar las diferentes métricas y facetas, como trabajos, etapas y ejecutores. Para obtener más información, consulte Visualización del historial de aplicaciones de Amazon EMR. Esta característica solo está disponible para las versiones 5.8.0 y posteriores de Amazon EMR.
Interfaz de línea de comandos de Amazon EMR
Puede encontrar detalles sobre un clúster desde la AWS CLI con el argumento --describe.
API de Amazon EMR
Puede encontrar detalles sobre un clúster desde la API utilizando la acción DescribeJobFlows.
Ver detalles de errores del clúster de EMR
Cuando un clúster de EMR termina con un error, las API DescribeCluster y ListClusters devuelven un código de error y un mensaje de error. En el caso de determinados errores del clúster, la matriz de datos ErrorDetail puede ayudarle a solucionar el error.
Para obtener una lista de códigos de error que incluyen datos de ErrorDetail, consulte Códigos de error con información ErrorDetail en Amazon EMR.
nota
Mejoramos continuamente nuestros mensajes de error para que reciba la información más reciente y pertinente. No recomendamos analizar el texto desde ErrorMessage porque está sujeto a cambios.
Ejecutar scripts y configurar procesos de Amazon EMR
Como parte del proceso de resolución de problemas, puede resultarle útil ejecutar scripts personalizados en el clúster o ver y configurar los procesos del clúster.
Ver y reiniciar los procesos de la aplicación
Puede resultar útil ver los procesos en ejecución en el clúster para diagnosticar posibles problemas. Para detener y reiniciar los procesos del clúster, puede conectarse al nodo maestro del clúster. Para obtener más información, consulte Ver y reiniciar Amazon EMR y procesos de aplicaciones (daemons).
Ejecutar comandos y scripts sin una conexión SSH
Para ejecutar un comando o un script en el clúster como paso, puede usar las herramientas command-runner.jar o script-runner.jar sin establecer una conexión SSH con el nodo maestro. Para obtener más información, consulte Ejecutar comandos y scripts en un clúster de Amazon EMR.
Ver archivos de registro de
Amazon EMR y Hadoop generan archivos de registro cuando se ejecuta el clúster. Puede acceder a estos archivos de registro desde diversas herramientas, en función de la configuración que haya especificado al lanzar el clúster. Para obtener más información, consulte Configuración del registro y la depuración de un clúster de Amazon EMR.
Archivos de registro en el nodo maestro
Cada clúster publica archivos de registro en el directorio /mnt/var/log/ en el nodo principal. Estos archivos de registro solo están disponibles mientras se ejecuta el clúster.
Archivos de registro archivados en Amazon S3
Si lanza el clúster y especifica una ruta de registro de Amazon S3, el clúster copia los archivos de registro almacenados en /mnt/var/log/ en el nodo maestro a Amazon S3, en intervalos de 5 minutos. Esto garantiza que tenga acceso a los archivos de registro incluso después de que el clúster se termine. Dado que los archivos están archivados en intervalos de 5 minutos, los últimos minutos de un clúster terminado de forma repentina podrían no estar disponibles.
Supervisar el rendimiento del clúster de EMR
Amazon EMR proporciona varias herramientas para supervisar el rendimiento del clúster.
Interfaces web de Hadoop
Cada clúster publica una serie de interfaces web en el nodo principal que contienen información sobre el clúster. Puede acceder a estas páginas web mediante un túnel SSH para conectarlas en el nodo principal. Para obtener más información, consulte Ver las interfaces web alojadas en clústeres de Amazon EMR.
Métricas de CloudWatch
Cada clúster notifica las métricas a CloudWatch. CloudWatch es un servicio web que hace un seguimiento de las métricas y que se puede utilizar para establecer alarmas en dichas métricas. Para obtener más información, consulte Monitorización de métricas de Amazon EMR con CloudWatch.
