Execução de trabalhos do Spark com o operador do Spark
As versões 6.10.0 e superiores do Amazon EMR oferecem suporte ao operador do Kubernetes para Apache Spark, ou ao operador do Spark, como um modelo de envio de trabalho para o Amazon EMR no EKS. Com o operador do Spark, você pode implantar e gerenciar aplicações do Spark com o runtime da versão do Amazon EMR em seus próprios clusters do Amazon EKS. Após implantar o operador do Spark no cluster do Amazon EKS, você poderá enviar aplicações do Spark diretamente ao operador. O operador gerencia o ciclo de vida das aplicações do Spark.
nota
O Amazon EMR calcula preços no Amazon EKS com base no consumo de memória e vCPU. Esse cálculo se aplica aos pods de drivers e de executores. Esse cálculo começa quando você baixa a imagem da aplicação do Amazon EMR até que o pod do Amazon EKS seja encerrado e arredondado para o segundo mais próximo.
Tópicos
- Configuração do operador do Spark para o Amazon EMR no EKS
- Conceitos básicos do operador do Spark para o Amazon EMR no EKS
- Uso do ajuste de escala automático vertical com o operador do Spark para Amazon EMR no EKS
- Desinstalação do operador do Spark para o Amazon EMR no EKS
- Segurança e o operador do Spark com o Amazon EMR no EKS
