새로운 기능 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

새로운 기능

이 페이지에서는 최신 Amazon 7.x, EMR 6.x 및 5.x 릴리스에서 사용할 수 있는 변경 사항과 기능에 대해 설명합니다.

이러한 릴리스 정보는 Amazon EMR 7.3.0, Amazon EMR 6.15.0Amazon EMR 5.36.2 페이지와 각 릴리스의 애플리케이션 버전, 구성 요소 버전 및 사용 가능한 구성 분류에서도 사용할 수 있습니다.

참고

Amazon의 이후 릴리스EMR에서는 AWS 서명 버전 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 에서 지원하는 Amazon EMR 릴리스를 사용하는 것이 좋습니다.SigV4 새 S3 버킷에 액세스하고 워크로드 중단을 방지할 수 있습니다. 를 지원하는 Amazon EMR 릴리스 목록 및 자세한 내용은 SigV4를 참조하세요Amazon EMR 및 AWS 서명 버전 4.

Amazon EMR 7.3.0(7.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜의 첫 번째 리전부터 시작하여 며칠 동안 여러 리전에서 사용할 수 있습니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 7.3.0에 대한 정보가 포함되어 있습니다. 변경 사항은 7.3.0을 기준으로 합니다.

새로운 기능
  • 애플리케이션 업그레이드 - Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 11.1.

  • 이 릴리스에는 네트워크를 통한 전송 중 암호화를 지원하는 22개의 오픈 소스 엔드포인트가 추가되었습니다. 이러한 개선에는 Hadoop, Hive, Tez, Phoenix, Flink와 같은 오픈 소스 프레임워크가 포함됩니다. 전송 중 암호화를 활성화하고 이러한 엔드포인트에 연결하려는 경우 TLS 통신을 지원하도록 코드를 수정해야 할 수 있습니다. 필요에 따라 이러한 엔드포인트에 TLS 대해 를 비활성화할 수 있습니다. 지원되는 엔드포인트의 전체 목록은 전송 중 암호화 지원 매트릭스 이해를 참조하세요.

  • Amazon EMR 7.3.0을 사용하면 Iceberg를 사용하는 Apache Hive는 이제 AWS Glue Data Catalog를 메타스토어로 지원하므로 메타데이터를 저장하고, 데이터 소스를 자동으로 크롤링하고, 메타데이터를 추출하고, 원활한 워크플로를 위해 다른 서비스와 통합하는 중앙 집중식 리포지토리와 같은 이점을 누릴 수 있습니다.

알려진 문제
  • Python 3.11은 EMR Studio에서 지원되지 않습니다.

  • 전송 중 암호화 및 Kerberos 인증을 사용하는 경우 Hive 메타스토어에 의존하는 Spark 애플리케이션을 사용할 수 없습니다. 이 문제는 HIVE-16340에서 수정되며 오픈 소스 Spark가 Hive 3으로 업그레이드할 수 있는 경우 SPARK-44114에서 완전히 해결됩니다. 그 동안 를 hive.metastore.use.SSL로 설정하여 이 문제를 일시적으로 해결할 수 있습니다false. 자세한 내용은 애플리케이션 구성을 참조하세요.

    • Kerberos 인증을 사용하지 않는 경우 를 사용하도록 Spark를 구성해야 합니다SSL. 이렇게 하려면 클러스터를 프로비저닝할 때 다음 구성을 설정합니다.

      [{ "Classification": "spark-defaults", "Properties": { "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks", "spark.hadoop.hive.metastore.use.SSL": "true" } }]
변경 사항, 향상된 기능 및 해결된 문제
  • 에 대한 TLS 호스트 이름 확인을 지원하기 위해 YARN이 릴리스에서는 yarn.resourcemanager.hostname 구성을 기본 인스턴스 IP 주소에서 기본 인스턴스 프라이빗 DNS 이름으로 변경합니다.

  • Amazon 5.36 이상, EMR 6.6 이상 또는 7.0 이상의 최신 패치 릴리스로 클러스터를 시작하면 Amazon은 기본 Amazon EMR 에 최신 Amazon Linux 2023 또는 Amazon Linux 2 릴리스를 EMR 사용합니다AMI. 자세한 내용은 기본 Amazon Linux AMI for Amazon 사용을 참조하세요EMR.

    OsReleaseLabel (Amazon Linux 버전) Amazon Linux 커널 버전 사용 가능한 날짜 지원되는 리전
    2023.5.20240916 6.1.109-118.189.amzn2023 2024년 9월 6일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)

Amazon EMR 6.15.0(6.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜의 첫 번째 리전부터 시작하여 며칠 동안 여러 리전에서 사용할 수 있습니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 6.15.0에 대한 정보가 포함되어 있습니다. 변경 사항은 6.14.0에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 6.15.0 변경 로그 섹션을 참조하세요.

새로운 기능
  • 애플리케이션 업그레이드 - Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.

  • 에서 실행되는 EMR 클러스터에 대한 더 빠른 시작 EC2 - 이제 EC2 클러스터EMR에서 Amazon을 시작하는 속도가 최대 35% 더 빠릅니다. 이번 개선 덕분에 고객은 대부분 대략 5분 만에 클러스터를 시작할 수 있게 되었습니다.

  • CodeWhisperer for EMR Studio - 이제 Amazon CodeWhisperer 과 Amazon EMR Studio를 함께 사용하여 에서 코드를 작성할 때 실시간 권장 사항을 얻을 수 있습니다 JupyterLab. CodeWhisperer 는 설명을 완료하고, 코드의 단일 줄을 완료하고, 추천을 line-by-line하고, 완전히 형성된 함수를 생성할 수 있습니다.

  • Flink를 사용한 작업 재시작 시간 단축 - Amazon EMR 6.15.0 이상에서는 Apache Flink에 몇 가지 새로운 메커니즘을 사용하여 작업 복구 또는 조정 작업 중에 작업 재시작 시간을 개선할 수 있습니다. 이는 실행 그래프의 복구 및 재시작 속도를 최적화하여 작업 안정성을 향상시킵니다.

  • 개방형 테이블 형식에 대한 테이블 수준 및 세분화된 액세스 제어 - Amazon EMR 6.15.0 이상에서는 AWS Glue Data Catalog의 데이터에 액세스하는 EC2 클러스터EMR에서 Amazon에서 Spark 작업을 실행할 때 AWS Lake Formation 를 사용하여 Hudi, Iceberg 또는 Delta Lake 기반 테이블에 테이블, 행, 열 및 셀 수준 권한을 적용할 수 있습니다.

  • Hadoop 업그레이드 - Amazon EMR 6.15.0에는 Apache Hadoop을 버전 3.3.6으로 업그레이드하는 작업이 포함되어 있습니다. Hadoop 3.3.6은 Amazon EMR 6.15 배포 당시 최신 버전으로, 2023년 6월에 Apache에서 릴리스되었습니다. Amazon의 이전 릴리스EMR(6.9.0~6.14.x)에서는 Hadoop 3.3.3을 사용했습니다.

    업그레이드에는 수백 가지 개선 사항과 수정 사항, 재구성 가능한 데이터 노드 파라미터, 모든 라이브 데이터 노드에서 대량 재구성 작업을 시작하는 DFSAdmin 옵션, 검색량이 많은 리더가 읽을 여러 범위를 지정할 수 API 있는 벡터링 기능이 포함되어 있습니다. 또한 Hadoop 3.3.6은 가 다른 스토리지 시스템 구현에서 실행할 HBase 수 있도록 미리 쓰기 로그(WAL)에 대한 지원 HDFS APIs 및 의미 체계를 추가합니다. 자세한 내용을 확인하려면Apache Hadoop 하둡 설명서에서 버전 3.3.4, 3.3.53.3.6의 변경 로그를 참조하세요.

  • Java 버전 2 지원 AWS SDK - 애플리케이션이 v2를 지원하는 경우 Amazon EMR 6.15.0 애플리케이션은 Java 버전 1.12.569 또는 2.20.160에 사용할 AWS SDK 수 있습니다. Java 2.x용 AWS SDK는 버전 1.x 코드 베이스의 메이저 재작성입니다. Java 8+에 토대를 두고 있으며, 요청이 많았던 기능들을 몇 가지 추가했습니다. 여기에는 비차단 I/O에 대한 지원과 런타임 시 다른 HTTP 구현을 연결할 수 있는 기능이 포함됩니다. Java v1SDK에서 v2로의 마이그레이션 가이드를 포함한 자세한 내용은 AWS SDK Java용 버전 2 가이드를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제
  • 고가용성 EMR 클러스터를 개선하기 위해 이 릴리스를 사용하면 를 사용하는 로컬 호스트의 Amazon EMR 데몬에 연결할 수 있습니다.IPv6 엔드포인트.

  • 이 릴리스를 사용하면 TLS 고가용성 클러스터의 모든 기본 노드에서 ZooKeeper 프로비저닝된 와 1.2 간의 통신을 할 수 있습니다.

  • 이 릴리스는 기본 노드에 유지 관리되는 트랜잭션 로그 파일의 관리를 ZooKeeper 개선하여 로그 파일이 경계를 벗어나 클러스터 작업을 중단하는 시나리오를 최소화합니다.

  • 이 릴리스는 고가용성 EMR 클러스터에 대한 노드 내 통신을 더 탄력적으로 만듭니다. 이러한 개선 사항은 부트스트랩 작업 실패나 클러스터 시작 실패 가능성을 줄입니다.

  • Amazon EMR 6.15.0의 Tez는 Tez 그룹화된 분할에서 입력 분할을 비동기적으로 열도록 지정할 수 있는 구성을 도입합니다. 그 결과 단일 Tez 그룹화된 분할에 많은 수의 입력 분할이 있을 경우 읽기 쿼리 성능이 더욱 빨라집니다. 자세한 내용을 확인하려면 Tez 비동기식 분할 열기를 참조하세요.

  • Amazon 5.36 이상, EMR 6.6 이상 또는 7.0 이상의 최신 패치 릴리스로 클러스터를 시작하면 Amazon은 기본 Amazon EMR 에 최신 Amazon Linux 2023 또는 Amazon Linux 2 릴리스를 EMR 사용합니다AMI. 자세한 내용은 기본 Amazon Linux AMI for Amazon 사용을 참조하세요EMR.

    OsReleaseLabel (Amazon Linux 버전) Amazon Linux 커널 버전 사용 가능한 날짜 지원되는 리전
    2.0.20241001.0 4.14.352 2024년 10월 4일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240816.0 4.14.350 2024년 8월 21일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240809.0 4.14.349 2024년 8월 20일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240719.0 4.14.348 2024년 7월 25일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240709.1 4.14.348 2024년 7월 23일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)
    2.0.20240223.0 4.14.336 2024년 3월 8일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
    2.0.20240131.0 4.14.336 2024년 2월 14일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
    2.0.20240124.0 4.14.336 2024년 2월 7일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
    2.0.20240109.0 4.14.334 2024년 1월 24일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 캐나다 서부(캘거리)
    2.0.20231218.0 4.14.330 2024년 1월 2일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20231206.0 4.14.330 2023년 12월 22일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20231116.0 4.14.328 2023년 12월 11일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20231101.0 4.14.327 2023년 11월 13일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(프랑크푸르트), 유럽(취리히), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)

Amazon EMR 5.36.2(5.x 시리즈의 최신 릴리스)

새 Amazon EMR 릴리스는 최초 릴리스 날짜의 첫 번째 리전부터 시작하여 며칠 동안 여러 리전에서 사용할 수 있습니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.

다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.2에 대한 정보가 포함되어 있습니다. 변경 사항은 5.36.1을 기준으로 합니다. 릴리스 일정에 대한 자세한 내용은 변경 로그를 참조하세요.

변경 사항, 향상된 기능 및 해결된 문제
  • 이 릴리스는 클러스터 스케일 다운 로직을 개선하여 AmazonEMR이 클러스터의 HDFS 복제 인자 설정 미만으로 코어 노드를 스케일 다운하지 않도록 합니다. 이러한 개선은 데이터 중복 요구 사항을 충족하고 조정 작업이 중단될 가능성을 줄입니다.

  • 이 릴리스는 Presto 또는 Trino를 실행하는 에 대한 클러스터 조정 워크플로에 새 재시도 메커니즘을 추가합니다. 이렇게 개선하면 단일 크기 조정 작업 실패로 인해 클러스터 크기 조정이 무기한 실행될 위험이 줄어듭니다. 또한 클러스터를 더 빠르게 스케일 업 및 스케일 다운하므로 클러스터 활용도가 향상됩니다.

  • Amazon이 코어 노드를 EMR 정상적으로 해체하는 동안 클러스터 스케일 다운 작업이 중단되고 완전히 해체되기 전에 비정상으로 변하는 문제를 해결합니다.

  • Amazon이 단일 노드를 EMR 다시 시작할 때 여러 프라이머리 노드가 있는 고가용성 클러스터의 노드 안정성을 개선합니다.

  • Amazon 에서 EMR 실행 중인 Amazon 를 사용하여 로그 관리를 최적화합니다EC2. 따라서 클러스터 로그의 스토리지 비용이 조금 절감될 수 있습니다.

  • 기본 노드에 유지 관리되는 ZooKeeper 트랜잭션 로그 파일의 관리를 개선하여 로그 파일이 범위를 벗어나 클러스터 작업을 중단하는 시나리오를 최소화합니다.

  • Yarn 과 통신할 수 없어 여러 기본 노드가 있는 고가용성 클러스터가 실패할 수 있는 드문 버그를 수정합니다 ResourceManager.

  • Amazon 5.36 이상, EMR 6.6 이상 또는 7.0 이상의 최신 패치 릴리스로 클러스터를 시작하면 Amazon은 기본 Amazon EMR 에 최신 Amazon Linux 2023 또는 Amazon Linux 2 릴리스를 EMR 사용합니다AMI. 자세한 내용은 기본 Amazon Linux AMI for Amazon 사용을 참조하세요EMR.

    OsReleaseLabel (Amazon Linux 버전) Amazon Linux 커널 버전 사용 가능한 날짜 지원되는 리전
    2.0.20241001.0 4.14.352 2024년 10월 4일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240816.0 4.14.350 2024년 8월 21일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240809.0 4.14.349 2024년 8월 20일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240719.0 4.14.348 2024년 7월 25일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)
    2.0.20240709.1 4.14.348 2024년 7월 23일 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브), 캐나다 서부(캘거리)
    2.0.20240503.0 4.14.343 xxxxxx, 2024 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남미(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud (미국 서부), AWS GovCloud (미국 동부), 중국(베이징), 중국(닝샤)

Amazon EMR 및 AWS 서명 버전 4

Amazon EMR 릴리스는 AWS 서명 버전 4(SigV4)를 사용하여 Amazon S3에 대한 요청을 인증합니다. 2020년 6월 24일 이후 Amazon S3에서 생성된 버킷은 Signature Version 2(SigV2)로 서명된 요청을 지원하지 않습니다. 2020년 6월 24일 또는 이전에 생성된 버킷은 계속해서 SIGv2를 지원합니다. 가 지원하는 Amazon EMR 릴리스로 마이그레이션하는 것이 좋습니다.SigV4 새 S3 버킷에 액세스하고 워크로드 중단을 방지할 수 있습니다.

Apache Spark, Apache Hive, PrestoEMR와 같이 Amazon에 포함된 애플리케이션을 사용하는 경우 애플리케이션 코드를 변경하여 사용할 필요가 없습니다.SigV4 . Amazon 에 포함되지 않은 사용자 지정 애플리케이션을 사용하는 경우 사용할 코드를 업데이트해야 할 EMR수 있습니다.SigV4. 자세한 내용은 Amazon S3 사용 설명서의 서명 버전 2에서 서명 버전 4로 이동을 참조하세요.

다음 Amazon EMR 릴리스 지원 SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher. 모든 6.x 및 7.x 릴리스 지원 SigV4.