Amazon EMR on EKS 6.7.0 릴리스 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR on EKS 6.7.0 릴리스

다음 Amazon EMR 6.7.0 릴리스는 Amazon EMR on에서 사용할 수 있습니다EKS. 특정 emr-6.7.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 자세한 내용을 봅니다.

Amazon EMR 6.7.0 릴리스 정보

  • 지원되는 애플리케이션 ‐ Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • 지원되는 구성 요소 ‐ aws-hm-client(Glue 커넥터), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • JEG 2.6으로 업그레이드하면 커널 관리가 비동기식이 되므로 커널 시작이 진행 중일 때가 트랜잭션을 차단하지 JEG 않습니다. 이를 통해 다음과 같은 기능을 제공함으로써 사용자 경험이 크게 개선됩니다.

    • 다른 커널 시작이 진행 중일 때 현재 실행 중인 노트북에서 명령을 실행하는 기능

    • 이미 실행 중인 커널에 영향을 주지 않고 여러 커널을 동시에 시작하는 기능

  • 지원되는 구성 분류:

    분류 설명

    core-site

    Hadoop의 core-site.xml 파일에서 값을 변경합니다.

    emrfs-site

    EMRFS 설정을 변경합니다.

    spark-metrics

    Spark의 metrics.properties 파일에서 값을 변경합니다.

    spark-defaults

    Spark의 spark-defaults.conf 파일에서 값을 변경합니다.

    spark-env

    the Spark 환경의 값을 변경합니다.

    spark-hive-site

    Spark의 hive-site.xml 파일에서 값을 변경합니다.

    spark-log4j

    Spark의 log4j.properties 파일에서 값을 변경합니다.

    구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는와 같은 애플리케이션의 구성 XML 파일에 해당하는 경우가 많습니다spark-hive-site.xml. 자세한 내용은 애플리케이션 구성을 참조하십시오.

해결된 문제

  • Amazon EMR on EKS 6.7은 대화형 엔드포인트와 함께 Apache Spark의 포드 템플릿 기능을 사용할 때 6.6의 문제를 해결합니다. 이 문제는 EKS 릴리스 6.4, 6.5 및 6.6EMR에서 Amazon에 있었습니다. 이제 포드 템플릿을 사용하여 대화형 엔드포인트로 대화형 분석을 실행할 때 Spark 드라이버 및 실행기 포드 시작 방식을 정의할 수 있습니다.

  • 이전 Amazon EMR EKS 릴리스에서 Jupyter Enterprise Gateway는 커널 시작이 진행 중일 때 트랜잭션을 차단하여 현재 실행 중인 노트북 세션의 실행을 방해했습니다. 이제 다른 커널 시작이 진행 중일 때 현재 실행 중인 노트북에서 명령을 실행할 수 있습니다. 또한 이미 실행 중인 커널과의 연결을 끊지 않고도 여러 커널을 동시에 시작할 수 있습니다.