设置适用于 Amazon EMR on EKS 的 Apache Livy
在 Amazon EKS 集群上安装 Apache Livy 之前,必须先安装并配置一组必备工具。包括用于处理 AWS 资源的基本命令行工具 AWS CLI、用于使用 Amazon EKS 的命令行工具以及在本用例中使集群应用程序可用于互联网并路由网络流量的控制器。
-
安装或更新到最新版本的 AWS CLI:如果已安装 AWS CLI,请确认您安装的是最新版本。
-
设置 kubectl 和 eksctl:eksctl 是用来与 Amazon EKS 通信的命令行工具。
-
Install Helm – Kubernetes 的 Helm 包管理器可帮助您在 Kubernetes 集群上安装和管理应用程序。
-
开始使用 Amazon EKS - eksctl:按照以下步骤在 Amazon EKS 中创建带有节点的新 Kubernetes 集群。
-
选择 Amazon EMR 发行版标签:Amazon EMR 7.1.0 及更高版本支持 Apache Livy。
-
安装 ALB 控制器:ALB 控制器负责管理 Kubernetes 集群的 AWS Elastic Load Balancing。当您在设置 Apache Livy 过程中创建 Kubernetes Ingress 时,将会创建 AWS 网络负载均衡器(NLB)。