设置 Amazon EMR on EKS 的 spark-submit
先执行以下任务来完成设置,才能在 Amazon EMR on EKS 上使用 spark-submit 运行应用程序。如果已注册 Amazon Web Services(AWS)并且一直在使用 Amazon EKS,您基本上就准备好使用 Amazon EMR on EKS 了。跳过已完成的先决条件,转到下一个先决条件。
-
安装或更新到最新版本的 AWS CLI:如果已安装 AWS CLI,请确认您安装的是最新版本。
-
设置 kubectl 和 eksctl:eksctl 是用来与 Amazon EKS 通信的命令行工具。
-
开始使用 Amazon EKS - eksctl:按照以下步骤在 Amazon EKS 中创建带有节点的新 Kubernetes 集群。
-
选择 Amazon EMR 基础映像 URI(6.10.0 或更高版本)– Amazon EMR 6.10.0 及更高版本都支持
spark-submit
命令。 -
确认驱动程序服务账户有创建并监视执行程序 Pod 的相应权限。有关更多信息,请参阅 确认 spark-submit 的 Spark 驱动程序服务账户安全要求。
-
设置本地 AWS 凭证配置文件。
-
在 Amazon EKS 控制台中,选择您的 EKS 集群,然后在概述、详细信息、API 服务器端点下找到 EKS 集群端点。