Amazon EMR on EKS에 대한 Apache Livy 설정
Amazon EKS 클러스터에 Apache Livy를 설치하려면 먼저 사전 조건 도구 세트를 설치하고 구성해야 합니다. 여기에는 AWS 리소스 작업을 위한 기본 명령줄 도구 AWS CLI, Amazon EKS 작업을 위한 명령줄 도구, 이 사용 사례에서 클러스터 애플리케이션을 인터넷을 통해 사용 가능하게 하고 네트워크 트래픽을 라우팅하는 데 사용되는 컨트롤러가 포함됩니다.
-
AWS CLI의 최신 버전 설치 또는 업데이트 - AWS CLI를 이미 설치한 경우 최신 버전을 보유하고 있는지 확인합니다.
-
kubectl 및 eksctl 설치 - eksctl은 Amazon EKS와 통신하는 데 사용하는 명령줄 도구입니다.
-
Install Helm – Kubernetes용 Helm 패키지 관리자는 Kubernetes 클러스터에서 애플리케이션을 설치하고 관리하는 데 도움이 됩니다.
-
Amazon EKS 시작하기 – eksctl - 관련 단계를 수행하여 Amazon EKS에서 노드를 포함하는 새 Kubernetes 클러스터를 생성합니다.
-
Amazon EMR 릴리스 레이블 선택 - Amazon EMR 릴리스 7.1.0 이상에서 Apache Livy가 지원됩니다.
-
ALB 컨트롤러 설치 - ALB 컨트롤러는 Kubernetes 클러스터에 대한 AWS Elastic Load Balancing을 관리합니다. Apache Livy를 설정하는 동안 Kubernetes 수신을 생성하는 경우 AWS Network Load Balancer(NLB)를 생성합니다.
