Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Registros giratorios
Amazon EMR sin servidor puede rotar los registros de aplicaciones y los registros de eventos de Spark. La rotación de registros ayuda a solucionar el problema de que los trabajos de larga duración generen archivos de registro de gran tamaño que pueden ocupar todo el espacio en el disco. La rotación de los registros le ayuda a ahorrar espacio de almacenamiento en disco y reduce la cantidad de errores en los trabajos, debido a que no quede más espacio en el disco.
La rotación de registros está habilitada de forma predeterminada y solo está disponible para los trabajos de Spark.
Registros de eventos de Spark
nota
La rotación del registro de eventos de Spark está disponible en todas las etiquetas de lanzamiento de Amazon EMR.
En lugar de generar un único archivo de registro de eventos, EMR sin servidor rota el registro de eventos en un intervalo de tiempo periódico y elimina los archivos de registro de eventos anteriores. La rotación de los registros no afecta a los registros cargados en el bucket de S3.
Registros de aplicaciones de Spark
nota
La rotación del registros de eventos de Spark está disponible en todas las etiquetas de lanzamiento de Amazon EMR.
EMR sin servidor también rota los registros de aplicaciones de Spark para los controladores y ejecutores, como los archivos stdout y stderr. Para acceder a los archivos de registro más recientes, seleccione los enlaces de registro de Studio mediante los enlaces del servidor de historial de Spark y de la interfaz de usuario en vivo. Los archivos de registro son las versiones truncadas de los registros más recientes. Para ver los registros rotados anteriores, debe especificar una ubicación de Amazon S3 al almacenar los registros. Consulte Registro de EMR sin servidor con buckets de Amazon S3 para obtener más información.
Puede encontrar los archivos de registro más recientes en la siguiente ubicación. EMR sin servidor actualiza los archivos cada 15 segundos. Estos archivos pueden oscilar entre 0 MB y 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
La siguiente ubicación contiene los archivos rotados más antiguos. Cada archivo ocupa 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
El mismo comportamiento se aplica también a los ejecutores de Spark. Este cambio solo se aplica al registro de S3. La rotación de registros no introduce ningún cambio en las transmisiones de registros subidas a Amazon CloudWatch.
Las versiones 7.1.0 y posteriores de EMR sin servidor admiten reintentos para trabajos de streaming y por lotes. Si habilitó los reintentos en su tarea, EMR sin servidor añade un prefijo a la ruta de los registros de dichos trabajos para que pueda hacerse una mejor distinción y seguimiento de los registros entre sí. Esta ruta contiene todos los registros rotados.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
