Ejecución de trabajos de Spark con el operador de Spark
Las versiones 6.10.0 y posteriores de Amazon EMR admiten el operador de Kubernetes para Apache Spark, o el operador de Spark, como modelo de envío de trabajos para Amazon EMR en EKS. Con el operador de Spark, puede implementar y administrar las aplicaciones de Spark con el tiempo de ejecución de versiones de Amazon EMR en sus propios clústeres de Amazon EKS. Una vez que haya implementado el operador de Spark en su clúster de Amazon EKS, puede enviar las solicitudes de Spark de inmediato al operador. El operador administra el ciclo de vida de las aplicaciones de Spark.
nota
Amazon EMR calcula los precios de Amazon EKS en función de la vCPU y el consumo de memoria. Este cálculo se aplica a los pods de controladores y ejecutores. Este cálculo comienza cuando usted descarga la imagen de la aplicación de Amazon EMR hasta que finaliza el pod de Amazon EKS y se redondea al segundo más cercano.
Temas
- Configuración del operador de Spark para Amazon EMR en EKS
- Cómo comenzar a utilizar el operador de Spark para Amazon EMR en EKS
- Uso del escalado automático vertical con el operador de Spark para Amazon EMR en EKS
- Desinstalación del operador de Spark para Amazon EMR en EKS
- Seguridad y operador de Spark con Amazon EMR en EKS