Amazon EMR on EKS에 대한 Spark 운영자 구성
Amazon EKS에서 Spark 운영자를 설치하려면 먼저 설정을 위해 다음 작업을 수행합니다. Amazon Web Services(AWS)에 이미 가입했고 Amazon EKS를 사용하고 있는 경우 Amazon EMR on EKS를 사용할 준비를 거의 마친 상태입니다. Amazon EKS에서 Spark 운영자를 설정하려면 다음 작업을 수행합니다. 필수 조건 중 하나를 이미 완료한 경우 해당 조건을 건너뛰고 다음 조건으로 넘어갈 수 있습니다.
-
AWS CLI의 최신 버전 설치 또는 업데이트 - AWS CLI를 이미 설치한 경우 최신 버전을 보유하고 있는지 확인합니다.
-
kubectl 및 eksctl 설치 - eksctl은 Amazon EKS와 통신하는 데 사용하는 명령줄 도구입니다.
-
Install Helm – Kubernetes용 Helm 패키지 관리자는 Kubernetes 클러스터에서 애플리케이션을 설치하고 관리하는 데 도움이 됩니다.
-
Amazon EKS 시작하기 – eksctl - 관련 단계를 수행하여 Amazon EKS에서 노드를 포함하는 새 Kubernetes 클러스터를 생성합니다.
-
Amazon EMR 기본 이미지 URI 선택(릴리스 6.10.0 이상) - Spark 운영자는 Amazon EMR 릴리스 6.10.0 이상에서 지원됩니다.
