Execução de trabalhos do Spark com o Amazon EMR no EKS
Uma execução de trabalho é uma unidade de trabalho, como um JAR do Spark, um script do PySpark ou uma consulta do Spark SQL, que você envia ao Amazon EMR no EKS. Este tópico fornece uma visão geral do gerenciamento de execuções de trabalhos usando a AWS CLI, da visualização de execuções de trabalhos usando o console do Amazon EMR e da solução de erros comuns de execuções de trabalhos.
Observe que você não pode executar trabalhos IPv6 do Spark no Amazon EMR no EKS
nota
Antes de enviar uma execução de trabalho com o Amazon EMR no EKS, você deve concluir as etapas em Configuração do Amazon EMR no EKS.
Tópicos
- Execução de trabalhos do Spark com StartJobRun
- Execução de trabalhos do Spark com o operador do Spark
- Execução de trabalhos do Spark com spark-submit
- Uso do Apache Livy com o Amazon EMR no EKS
- Gerenciamento de execuções de trabalhos do Amazon EMR no EKS
- Uso da classificação de envio de trabalho
- Uso de modelos de trabalho
- Uso de modelos de pod
- Uso de políticas de repetição de trabalho
- Uso da alternância de log de eventos do Spark
- Uso da alternância de log do contêiner do Spark
- Uso da escalabilidade automática vertical com trabalhos do Spark no Amazon EMR
