Ejecución de trabajos de Spark con Amazon EMR en EKS
Una ejecución de trabajo es una unidad de trabajo, como un jar de Spark, un script de PySpark o una consulta de SparkSQL, que se envía a Amazon EMR en EKS. En este tema, se proporciona información general sobre la administración de las ejecuciones de trabajos mediante la AWS CLI, la visualización de las ejecuciones de trabajos mediante la consola de Amazon EMR y la solución de errores comunes en la ejecución de trabajos.
Tenga en cuenta que no puede ejecutar trabajos de IPv6 Spark en Amazon EMR en EKS
nota
Antes de enviar una ejecución de trabajo con Amazon EMR en EKS, debe completar los pasos que se indican en Configuración de Amazon EMR en EKS.
Temas
- Ejecución de trabajos de Spark con StartJobRun
- Ejecución de trabajos de Spark con el operador de Spark
- Ejecución de trabajos de Spark con spark-submit
- Uso de Apache Livy con Amazon EMR en EKS
- Administración de las ejecuciones de trabajos de Amazon EMR en EKS
- Uso de la clasificación de remitentes de trabajos
- Uso de plantillas de trabajos
- Uso de plantillas de pods
- Uso de políticas de reintento de trabajos
- Uso de la rotación del registro de eventos de Spark
- Uso de la rotación de los registros de contenedores de Spark
- Uso del escalado automático vertical con trabajos de Spark de Amazon EMR