Amazon EMR on EKS 6.7.0 릴리스 - Amazon EMR

Amazon EMR on EKS 6.7.0 릴리스

Amazon EMR on EKS에 대해 다음 Amazon EMR 6.7.0 릴리스를 사용할 수 있습니다. 특정 emr-6.7.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 세부 정보를 확인합니다.

Amazon EMR 6.7.0용 릴리스 정보

  • 지원되는 애플리케이션 ‐ Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • 지원되는 구성 요소 ‐ aws-hm-client(Glue 커넥터), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • JEG 2.6으로 업그레이드하면 이제 커널 관리가 비동기식이므로 커널 실행이 진행 중일 때 JEG는 트랜잭션을 차단하지 않습니다. 이를 통해 다음과 같은 기능을 제공함으로써 사용자 경험이 크게 개선됩니다.

    • 다른 커널 시작이 진행 중일 때 현재 실행 중인 노트북에서 명령을 실행하는 기능

    • 이미 실행 중인 커널에 영향을 주지 않고 여러 커널을 동시에 시작하는 기능

  • 지원되는 구성 분류:

    분류 설명

    core-site

    Hadoop의 core-site.xml 파일에서 값을 변경합니다.

    emrfs-site

    EMRFS 설정을 변경합니다.

    spark-metrics

    Spark의 metrics.properties 파일에서 값을 변경합니다.

    spark-defaults

    Spark의 spark-defaults.conf 파일에서 값을 변경합니다.

    spark-env

    the Spark 환경의 값을 변경합니다.

    spark-hive-site

    Spark의 hive-site.xml 파일에서 값을 변경합니다.

    spark-log4j

    Spark의 log4j.properties 파일에서 값을 변경합니다.

    구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하십시오.

해결된 문제

  • Amazon EMR on EKS 6.7에서는 Apache Spark의 포드 템플릿 기능을 대화형 엔드포인트와 함께 사용할 때 6.6에서 발생하는 문제를 수정합니다. 이 문제는 Amazon EMR on EKS 릴리스 6.4, 6.5, 6.6에서 발생했습니다. 이제 포드 템플릿을 사용하여 대화형 엔드포인트로 대화형 분석을 실행할 때 Spark 드라이버 및 실행기 포드 시작 방식을 정의할 수 있습니다.

  • 이전 Amazon EMR on EKS 릴리스에서 Jupyter Enterprise Gateway는 커널이 시작 중일 때 트랜잭션을 차단했고, 이로 인해 현재 실행 중인 노트북 세션의 실행을 방해했습니다. 이제 다른 커널 시작이 진행 중일 때 현재 실행 중인 노트북에서 명령을 실행할 수 있습니다. 또한 이미 실행 중인 커널과의 연결을 끊지 않고도 여러 커널을 동시에 시작할 수 있습니다.