使用 Spark Operator 运行 Spark 任务 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Spark Operator 运行 Spark 任务

亚马逊EMR发布的6.10.0及更高版本支持Apache Spark的Kubernetes运算符或Spar k运算符,作为亚马逊的作业提交模型。EMR EKS使用 Spark 操作员,您可以在自己的亚马逊EKS集群上使用亚马逊EMR发布运行时部署和管理 Spark 应用程序。在您的 Amazon EKS 集群中部署 Spark 操作员后,您可以直接向该操作员提交 Spark 应用程序。Operator 会管理 Spark 应用程序的生命周期。

注意

亚马逊EMR根据 v CPU 和内存消耗来计算亚马逊EKS上的定价。该计算适用于驱动程序和执行程序容器组(pod)。此计算从您下载 Amazon EMR 应用程序映像时开始,直到 Amazon EKS Pod 终止并四舍五入到最接近的秒数。