As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Práticas recomendadas de observabilidade do EMR
O EMR Observability engloba uma abordagem abrangente de monitoramento e gerenciamento para clusters de EMR. AWS A base está na Amazon CloudWatch como principal serviço de monitoramento, complementado pelo EMR Studio e por ferramentas de terceiros, como Prometheus e Grafana, para maior visibilidade. Neste documento, exploramos aspectos específicos da observabilidade do cluster:
-
Observabilidade do Spark
(GitHub) — Com relação à interface de usuário do Spark, você tem três opções no Amazon EMR. -
Solução de problemas do Spark
(GitHub) — Resoluções para erros. -
Monitoramento de clusters do EMR
(GitHub) — Monitorando o desempenho do cluster. -
Solução de problemas do EMR
(GitHub) — Identifique, diagnostique e resolva problemas comuns do cluster do EMR. -
Otimização de custos
(GitHub) — Esta seção descreve as melhores práticas para executar cargas de trabalho econômicas.
Ferramenta de otimização de performance para aplicações Apache Spark
-
AWS A
ferramenta EMR Advisor analisa os registros de eventos do Spark para fornecer recomendações personalizadas para otimizar as configurações de cluster do EMR, melhorar o desempenho e reduzir custos. Ao aproveitar dados históricos, ela sugere tamanhos de executores e configurações de infraestrutura ideais, possibilitando a utilização mais eficiente dos recursos e a melhor performance geral do cluster. -
A
ferramenta Amazon CodeGuru Profiler ajuda os desenvolvedores a identificar gargalos e ineficiências de desempenho em seus aplicativos Spark coletando e analisando dados de tempo de execução. A ferramenta se integra perfeitamente aos aplicativos Spark existentes, exigindo configuração mínima, e fornece informações detalhadas por meio do AWS console sobre o uso da CPU, padrões de memória e pontos críticos de desempenho.
