Amazon EMR on EKS에서 Apache Livy 사용 - Amazon EMR

Amazon EMR on EKS에서 Apache Livy 사용

Amazon EMR 릴리스 7.1.0 이상에서는 Apache Livy를 사용하여 Amazon EMR on EKS에서 작업을 제출할 수 있습니다. Apache Livy를 사용하면 자체 Apache Livy REST 엔드포인트를 설정하고 이를 사용해 Amazon EKS 클러스터에서 Spark 애플리케이션을 배포하고 관리할 수 있습니다. Amazon EKS 클러스터에 Livy를 설치한 후 Livy 엔드포인트를 사용하여 Spark 애플리케이션을 Livy 서버에 제출할 수 있습니다. 서버는 Spark 애플리케이션의 수명 주기를 관리합니다.

참고

Amazon EMR은 vCPU 및 메모리 소비를 기반으로 Amazon EKS에 대한 요금을 계산합니다. 이 계산은 드라이버 및 실행기 포드에 적용됩니다. 이 계산은 Amazon EMR 애플리케이션 이미지를 다운로드한 시점부터 시작하여 Amazon EKS 포드가 종료될 때까지 수행되며, 가장 가까운 초로 반올림됩니다.