使用 Spark Operator 运行 Spark 任务 - Amazon EMR

使用 Spark Operator 运行 Spark 任务

Amazon EMR 6.10.0 及更高版本都支持 Apache Spark 版 Kubernetes Operator(又称 Spark Operator),作为 Amazon EMR on EKS 的任务提交模型。使用 Spark Operator,您可以在自己的 Amazon EKS 集群上使用 Amazon EMR 发行版运行时系统部署并管理 Spark 应用程序。在 Amazon EKS 集群中部署 Spark Operator 后,您可以直接使用 Operator 提交 Spark 应用程序。Operator 会管理 Spark 应用程序的生命周期。

注意

Amazon EMR on EMR 会根据 vCPU 和内存消耗计算 Amazon EKS 的定价。该计算适用于驱动程序和执行程序容器组(pod)。该计算从您下载 Amazon EMR 应用程序映像开始,直至 Amazon EKS 容器组(pod)终止,并四舍五入到最接近的秒。