기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR on EKS에서 spark-submit 설정
Amazon EMR on EKS에서 spark-submit을 사용하여 애플리케이션을 실행하기 전에 다음 작업을 완료합니다. Amazon Web Services(AWS)에 이미 가입했고 Amazon EKS를 사용하고 있는 경우 Amazon EMR on EKS를 사용할 준비를 거의 마친 상태입니다. 필수 조건 중 하나를 이미 완료한 경우 해당 조건을 건너뛰고 다음 조건으로 넘어갈 수 있습니다.
-
AWS CLI의 최신 버전 설치 또는 업데이트 - AWS CLI를 이미 설치한 경우 최신 버전을 보유하고 있는지 확인합니다.
-
kubectl 및 eksctl 설치 - eksctl은 Amazon EKS와 통신하는 데 사용하는 명령줄 도구입니다.
-
Amazon EKS 시작하기 – eksctl - 관련 단계를 수행하여 Amazon EKS에서 노드를 포함하는 새 Kubernetes 클러스터를 생성합니다.
-
Amazon EMR 기본 이미지 URI 선택(릴리스 6.10.0 이상) -
spark-submit명령은 Amazon EMR 릴리스 6.10.0 이상에서 지원됩니다. -
드라이버 서비스 계정에 실행기 포드를 생성하고 감시할 수 있는 적절한 권한이 있는지 확인합니다. 자세한 내용은 spark-submit에 대한 Spark 드라이버 서비스 계정 보안 요구 사항 확인 단원을 참조하십시오.
-
로컬 AWS 보안 인증 프로파일을 설정합니다.
-
Amazon EKS 콘솔에서 EKS 클러스터를 선택한 다음, 개요, 세부 정보, API 서버 엔드포인트 아래에 있는 EKS 클러스터 엔드포인트를 찾습니다.
