Estratégia de linha de base para ajuste de performance
Para melhorar a performance do AWS Glue, considere atualizar determinados parâmetros de performance do AWS Glue. Quando for ajustar os parâmetros, observe as seguintes práticas recomendadas:
Determine suas metas de performance antes de começar a identificar os problemas.
Use as métricas para identificar os problemas antes de tentar alterar os parâmetros de ajuste.
Para obter os resultados mais consistentes ao ajustar um trabalho, desenvolva uma estratégia de linha de base para fazer os ajustes.
Geralmente, o ajuste de performance é feito no seguinte fluxo de trabalho:
Determine as metas de performance.
Meça as métricas.
Identifique os gargalos.
Reduza o impacto dos gargalos.
Repita as etapas de 2 a 4 até atingir a meta pretendida.
Estratégias de ajuste para seu tipo de trabalho
Trabalhos do Spark: siga as orientações em Práticas recomendadas para ajuste de performance do AWS Glue para Apache Spark em Recomendações da AWS.
Outros trabalhos: é possível pode ajustar o AWS Glue para trabalhos de shell do Ray e do AWS Glue Python adaptando as estratégias disponíveis em outros ambientes de runtime.
