使用 Spark Operator 執行 Spark 作業 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Spark Operator 執行 Spark 作業

Amazon EMR6.10.0 版和更新版本支援 Kubernetes Operator for Apache Spark 或 Spark Operator,作為 Amazon EMR on 的任務提交模型EKS。使用 Spark 運算子,您可以在自己的 Amazon EKS叢集上使用 Amazon EMR發行執行期來部署和管理 Spark 應用程式。在 Amazon EKS叢集中部署 Spark 運算子後,您可以直接與運算子提交 Spark 應用程式。Operator 可管理 Spark 應用程式的生命週期。

注意

Amazon EKS會根據 vCPU 和記憶體使用量EMR計算 Amazon 定價。此計算適用於驅動程式和執行器 Pod。此計算從您下載 Amazon EMR 應用程式映像開始,直到 Amazon EKS Pod 終止且四捨五入至最接近的秒數。