문제 해결

Amazon EMR 클러스터에서 out-of-memory 오류가 발생했습니다.

Livy 연결이 중단되거나 실패하는 이유는 Amazon EMR 클러스터에서 오류가 발생한 경우일 수 있습니다. sparkmagic out-of-memory

기본적으로 Apache Spark 드라이버 spark.driver.defaultJavaOptions의 Java 구성 파라미터는 -XX:OnOutOfMemoryError='kill -9 %p'로 설정되어 있습니다. 즉, 드라이버 프로그램에서 오류가 OutOfMemoryError 발생할 때 취하는 기본 조치는 신호를 전송하여 드라이버 프로그램을 종료하는 것입니다. SIGKILL Apache Spark 드라이버가 종료되면 해당 드라이버를 활용하는 sparkmagic을 통한 모든 Livy 연결이 중단되거나 실패합니다. 이는 Spark 드라이버가 태스크 예약 및 실행을 포함한 Spark 애플리케이션의 리소스 관리를 담당하기 때문입니다. 드라이버가 없으면 Spark 애플리케이션이 작동하지 않으며 이와 상호 작용하려는 모든 시도가 실패합니다.

Spark 클러스터에서 메모리 문제가 발생한 것으로 의심되는 경우 Amazon EMR 로그를 확인할 수 있습니다. out-of-memory 오류로 인해 종료된 컨테이너는 일반적으로 코드가 1인 상태로 종료됩니다. 137 이러한 경우 Spark 애플리케이션을 다시 시작하고 새 Livy 연결을 설정하여 Spark 클러스터와의 상호 작용을 재개해야 합니다.

기술 자료 문서 Spark on EMR Amazon에서 “메모리 제한을 초과하여 YARN 컨테이너가 종료됨” 오류를 해결하려면 어떻게 해야 합니까? 를 참조하십시오. out-of-memory 문제를 해결하는 데 사용할 수 있는 다양한 전략과 매개변수에 대해 알아보려면 계속 AWS re:Post 진행하십시오.

Amazon EMR 클러스터에서 Apache Spark 워크로드를 실행하는 데 대한 모범 사례 및 조정 지침은 Amazon 모범 사례 안내서를 검토하는 것이 좋습니다. EMR

Amazon EMR 클러스터에 처음 연결할 때 Livy 세션 제한 시간이 초과됩니다.

Apache Livy를 사용하여 sagemaker-studio-analytics-extensionSparkMagic라이브러리를 통해 원격 Spark (AmazonEMR) 클러스터에 연결할 수 있도록 하는 를 사용하여 Amazon 클러스터에 처음 연결할 때 연결 시간 초과 오류가 발생할 수 있습니다. EMR

An error was encountered: Session 0 did not start up in 60 seconds.

Amazon EMR 클러스터에서 연결 설정 시 Spark 애플리케이션을 초기화해야 하는 경우 연결 시간 초과 오류가 발생할 가능성이 높아집니다.

분석 확장 프로그램을 통해 Livy를 사용하여 Amazon EMR 클러스터에 연결할 때 시간 초과가 발생할 가능성을 줄이려면 sagemaker-studio-analytics-extension 버전 0.0.19 및 이후 버전에서 기본 서버 세션 제한 시간을 기본값인 120 초 대신 초로 재정의하십시오. sparkmagic 60

다음 업그레이드 명령을 실행하여 확장 프로그램 0.0.18을 더 빠르게 업그레이드하는 것이 좋습니다.

pip install --upgrade sagemaker-studio-analytics-extension

sparkmagic에서 사용자 지정 제한 시간 구성을 제공할 경우 sagemaker-studio-analytics-extension에 재정의가 적용됩니다. 하지만 세션 제한 시간을 60초로 설정하면 sagemaker-studio-analytics-extension에서 기본 서버 세션 제한 시간인 120초마다 자동으로 트리거됩니다.