문제 해결

Amazon EMR 클러스터에서 메모리 부족 오류가 발생했습니다.

Amazon EMR 클러스터에서 메모리 부족 오류가 발생한 경우 sparkmagic을 통한 Livy 연결이 중단되거나 실패할 수 있습니다.

기본적으로 Apache Spark 드라이버 spark.driver.defaultJavaOptions의 Java 구성 파라미터는 -XX:OnOutOfMemoryError='kill -9 %p'로 설정되어 있습니다. 즉, 드라이버 프로그램에서 OutOfMemoryError가 발생할 때 실행하는 기본 작업은 SIGKILL 신호를 전송하여 드라이버 프로그램을 종료하는 것입니다. Apache Spark 드라이버가 종료되면 해당 드라이버를 활용하는 sparkmagic을 통한 모든 Livy 연결이 중단되거나 실패합니다. 이는 Spark 드라이버가 태스크 예약 및 실행을 포함한 Spark 애플리케이션의 리소스 관리를 담당하기 때문입니다. 드라이버가 없으면 Spark 애플리케이션이 작동하지 않으며 이와 상호 작용하려는 모든 시도가 실패합니다.

Spark 클러스터에 메모리 문제가 발생한 것으로 의심되는 경우 Amazon EMR 로그를 확인하면 됩니다. 메모리 부족 오류로 인해 종료된 컨테이너는 일반적으로 코드 137로 종료됩니다. 이러한 경우 Spark 애플리케이션을 다시 시작하고 새 Livy 연결을 설정하여 Spark 클러스터와의 상호 작용을 재개해야 합니다.

지식 기반 문서 Amazon EMR의 Spark에서 "메모리 한도를 초과하여 YARN에 의해 종료된 컨테이너" 오류를 해결하려면 어떻게 해야 합니까?를 참조하여 out-of-memory 문제를 해결하는 데 사용할 수 있는 다양한 전략과 파라미터에 대해 알아볼 수 있습니다. AWS re:Post

Amazon EMR 모범 사례 안내서를 통해 Amazon EMR 클러스터에서 Apache Spark 워크로드를 실행하는 모범 사례와 조정 지침을 검토하는 것이 좋습니다.

처음으로 Amazon EMR 클러스터에 연결할 때는 Livy 세션 제한 시간이 초과됩니다.

Apache Livy를 사용하여 SparkMagic 라이브러리를 통해 원격 Spark(Amazon EMR) 클러스터 연결을 구현하는 sagemaker-studio-analytics-extension으로 Amazon EMR 클러스터에 처음 연결할 경우 연결 제한 시간 초과 오류가 발생할 수 있습니다.

An error was encountered: Session 0 did not start up in 60 seconds.

연결 설정 시 Amazon EMR 클러스터에서 Spark 애플리케이션을 초기화해야 하는 경우 연결 제한 시간 초과 오류가 발생할 가능성이 높아집니다.

분석 확장 프로그램인 sagemaker-studio-analytics-extension 버전 0.0.19 이상을 통해 Livy를 사용하여 Amazon EMR 클러스터에 연결할 때 제한 시간 초과가 발생할 가능성을 줄이려면 기본 서버 세션 제한 시간을 sparkmagic의 기본값인 60초 대신 120초로 재정의합니다.

다음 업그레이드 명령을 실행하여 확장 프로그램 0.0.18을 더 빠르게 업그레이드하는 것이 좋습니다.

pip install --upgrade sagemaker-studio-analytics-extension

sparkmagic에서 사용자 지정 제한 시간 구성을 제공할 경우 sagemaker-studio-analytics-extension에 재정의가 적용됩니다. 하지만 세션 제한 시간을 60초로 설정하면 sagemaker-studio-analytics-extension에서 기본 서버 세션 제한 시간인 120초마다 자동으로 트리거됩니다.