Amazon EMR 릴리스 5.30.1

• Amazon EMR 7.x 릴리스의 애플리케이션 버전

• Amazon EMR 6.x 릴리스의 애플리케이션 버전

• Amazon EMR 5.x 릴리스의 애플리케이션 버전

• Amazon EMR 4.x 릴리스의 애플리케이션 버전

변경 사항, 향상된 기능 및 해결된 문제

• 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.

• 인스턴스 컨트롤러 프로세스에서 무한한 수의 프로세스를 생성하는 문제가 수정되었습니다.

• Hue에서 Hive 쿼리를 실행할 수 없어서 'database is locked' 메시지를 표시하고 쿼리가 실행되지 않는 문제가 수정되었습니다.

• EMR 클러스터에서 더 많은 작업을 동시에 실행할 수 있도록 Spark 문제가 수정되었습니다.

• Jupyter 서버에서 'too many files open error'를 발생시키는 Jupyter Notebook 문제가 수정되었습니다.

• 클러스터 시작 시간 관련 문제가 수정되었습니다.

새로운 특성

• Amazon EMR 버전 6.x 및 EMR 버전 5.30.1 이상에서 Tez UI 및 YARN 타임라인 서버의 영구 애플리케이션 인터페이스를 사용할 수 있습니다. 영구 애플리케이션 기록에 대한 원클릭 링크 액세스를 사용하면 SSH 연결을 통해 웹 프록시를 설정하지 않고도 작업 기록에 빠르게 액세스할 수 있습니다. 활성 클러스터와 종료된 클러스터에 대한 로그는 애플리케이션 종료 후 30일 동안 사용할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 영구 애플리케이션 사용자 인터페이스 보기를 참조하세요.

• EMR 노트북 실행 API는 스크립트 또는 명령줄을 통해 EMR 노트북을 실행하는 데 사용할 수 있습니다. AWS 콘솔 없이 EMR 노트북 실행을 시작, 중지, 나열 및 설명할 수 있으므로 EMR 노트북을 프로그래밍 방식으로 제어할 수 있습니다. 파라미터화된 노트북 셀을 사용하면 새로운 파라미터 값 세트마다 노트북의 복사본을 만들지 않고도 노트북에 다양한 파라미터 값을 전달할 수 있습니다. EMR API 작업을 참조하세요. 샘플 코드는 EMR Notebooks를 프로그래밍 방식으로 실행하는 샘플 명령을 참조하세요.

알려진 문제

• 이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨]. Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.

  이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.

  명령줄에서 ulimit를 명시적으로 설정합니다.

  1. /etc/systemd/system/instance-controller.service를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.

     LimitNOFILE=65536

     LimitNPROC=65536

  2. InstanceController 다시 시작

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  부트스트랩 작업(BA)을 사용하여 ulimit 설정

  클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• EMR Notebooks

  클러스터 프라이머리 노드에 커널과 추가 Python 라이브러리를 설치할 수 있는 기능은 EMR 버전 5.30.1에서 기본적으로 비활성화됩니다. 이 기능에 대한 자세한 내용은 클러스터 프라이머리 노드에 커널 및 Python 라이브러리 설치를 참조하세요.

  이 기능을 활성화하려면 다음을 수행합니다.

  1. EMR Notebooks의 서비스 역할에 연결된 권한 정책이 다음 작업을 허용하는지 확인합니다.

     elasticmapreduce:ListSteps

     자세한 내용은 EMR 노트북 서비스 역할 단원을 참조하십시오.

  2. AWS CLI 를 사용하여 다음 예제와 같이 EMR 노트북을 설정하는 클러스터에서 단계를 실행합니다. us-east-1을 클러스터가 상주하는 리전으로 바꿉니다. 자세한 내용은 AWS CLI를 사용하여 클러스터에 단계 추가를 참조하세요.

     aws emr add-steps  --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
                             

• Managed Scaling

  Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 Managed Scaling을 수행하면 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 ARRESTED 상태로 유지될 수 있습니다. 특히 스케일 다운 작업 이후 바로 스케일 업 작업이 수행되는 경우가 이에 해당합니다.

  해결 방법으로 작업에 Presto가 필요하지 않더라도 Amazon EMR 릴리스 5.30.0 및 5.30.1에서 클러스터를 생성할 때 설치할 애플리케이션으로 Presto를 선택합니다.

• 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제

  Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.

  해결 방법:

  • 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 hadoop 사용자로 SSH 연결합니다.

  • 다음 명령을 실행하여 hadoop 사용자의 Kerberos 티켓을 갱신합니다.

    kinit -kt <keytab_file> <principal>

    일반적으로 keytab 파일은 /etc/hadoop.keytab에 있으며, 보안 주체는 hadoop/<hostname>@<REALM> 양식입니다.

  참고

  이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.

• Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0~5.36.0 및 6.2.0~6.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.

  • 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.

  • 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 s3://bucket/table/p=a는 s3://bucket/table/p=a b의 접두사입니다.

  • 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 / 문자(U+002F)보다 작습니다. 예를 들어 s3://bucket/table/p=a b에서 a와 b 사이에 있는 공백 문자(U+0020)가 이 카테고리에 속합니다. !"#$%&‘()*+,-와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 UTF-8 인코딩 테이블 및 유니코드 문자를 참조하세요.

  이 문제를 해결하려면 spark-defaults 분류에서 spark.sql.sources.fastS3PartitionDiscovery.enabled 구성을 false로 설정합니다.