本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 EMR上設定 Amazon 的 spark-submit EKS
完成下列任務,以便在 Amazon 上使用 spark-submit EMR 執行應用程式之前進行設定EKS。如果您已註冊 Amazon Web Services (AWS) 並已使用 Amazon EKS,則您幾乎可以在 上使用 EMR AmazonEKS。如果已經完成任何先決條件,則可以跳過這些先決條件,然後繼續進行下一個。
-
安裝或更新至最新版本的 AWS CLI- 如果您已安裝 AWS CLI,請確認您有最新版本。
-
設定 kubectl 和 eksctl – eksctl 是您用來與 Amazon 通訊的命令列工具EKS。
-
開始使用 Amazon EKS – eksctl – 請依照步驟建立新的 Kubernetes 叢集,其中包含 Amazon 中的節點EKS。
-
選取 Amazon EMR基礎映像 URI (6.10.0 版或更新版本) – Amazon 6.10.0 版及更新EMR版本支援
spark-submit
命令。 -
確認驅動程式服務帳戶具有建立和監控執行程式 Pod 的適當許可。如需詳細資訊,請參閱驗證 spark-submit 的 Spark 驅動程式服務帳戶安全需求。
-
設定本機 AWS 憑證設定檔。
-
從 Amazon EKS主控台中,選擇EKS叢集,然後尋找位於概觀 、詳細資訊 、伺服器端點 下的EKS叢集端點。 API