As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Logs alternados
O Amazon EMR Sem Servidor pode alternar logs de aplicações e logs de eventos do Spark. A alternância de logs ajuda com o problema de trabalhos de longa execução, gerando grandes arquivos de log que podem ocupar todo o espaço em disco. A alternância de logs ajuda a economizar armazenamento em disco e reduz a quantidade de falhas de trabalho por não haver mais espaço no disco.
A alternância de logs está habilitada por padrão e disponível somente para trabalhos do Spark.
Logs de eventos do Spark
nota
A alternância de logs de eventos do Spark está disponível em todos os rótulos de lançamento do Amazon EMR.
Em vez de gerar um único arquivo de log de eventos, o EMR Sem Servidor alterna o log de eventos em um intervalo de tempo regular e remove os arquivos de log de eventos mais antigos. A alternância de logs não afeta os logs enviados ao bucket do S3.
Logs de aplicação do Spark
nota
A alternância de logs de aplicação do Spark está disponível em todos os rótulos de lançamento do Amazon EMR.
O EMR Sem Servidor também alterna os logs de aplicação do Spark para drivers e executores, como arquivos stdout e stderr. Você pode acessar os arquivos de log mais recentes escolhendo os links de log no Studio e usando os links da interface de usuário do Live e do servidor de histórico do Spark. Os arquivos de log são as versões truncadas dos logs mais recentes. Para exibir os logs alternados mais antigos, você deve especificar uma localização do Amazon S3 ao armazenar os logs. Consulte Logging for EMR Serverless with Amazon S3 buckets para obter mais informações.
Você encontrará os arquivos de log mais recentes no local a seguir. O EMR Sem Servidor atualiza os arquivos a cada 15 segundos. Esses arquivos podem variar de 0 MB a 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
O local a seguir contém os arquivos alternados mais antigos. Cada arquivo tem 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
O mesmo comportamento também se aplica aos executores do Spark. Essa alteração é aplicável somente ao registro em log do S3. A alternância de logs não introduz nenhuma alteração nos fluxos de logs enviados ao Amazon CloudWatch.
As versões 7.1.0 e posteriores do EMR Sem Servidor oferecem suporte a novas tentativas para trabalhos de streaming e em lote. Se você habilitou novas tentativas no trabalho, o EMR Sem Servidor adiciona um prefixo ao caminho de log para esses trabalhos, para que você possa rastrear e distinguir melhor os logs uns dos outros. Esse caminho contém todos os logs alternados.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
