고려 사항 및 제한 사항 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

고려 사항 및 제한 사항

EMR Serverless와 함께 Lake Formation을 사용할 때는 다음 고려 사항과 제한 사항을 고려하세요.

참고

EMR Serverless에서 Spark 작업에 대해 Lake Formation을 활성화하면 작업이 시스템 드라이버와 사용자 드라이버를 시작합니다. 시작 시 사전 초기화된 용량을 지정한 경우 드라이버는 사전 초기화된 용량부터 프로비저닝하고 시스템 드라이버 수는 사용자가 지정한 사용자 드라이버 수와 같습니다. 온디맨드 용량을 선택하면 EMR Serverless는 사용자 드라이버 외에도 시스템 드라이버를 시작합니다. Lake Formation 작업을 사용하는 EMR Serverless와 관련된 비용을 추정하려면를 사용합니다AWS Pricing Calculator.

Lake Formation을 사용하는 Amazon EMR Serverless는 AWS GovCloud (미국 동부) 및 AWS GovCloud (미국 서부)를 제외한 지원되는 모든 EMR Serverless 리전에서 사용할 수 있습니다.

  • Amazon EMR Serverless는 Apache Hive 및 Apache Iceberg 테이블에 대해서만 Lake Formation을 통한 세분화된 액세스 제어를 지원합니다. Apache Hive 형식에는 Parquet, ORC및 xSV가 포함됩니다.

  • Lake Formation 지원 애플리케이션은 사용자 지정 EMR Serverless 이미지 사용을 지원하지 않습니다.

  • Lake Formation 작업의 경우 DynamicResourceAllocation을 끌 수 없습니다.

  • Spark 작업에서 Lake Formation만 사용할 수 있습니다.

  • EMR Lake Formation을 사용하는 Serverless는 작업 전체에서 단일 Spark 세션만 지원합니다.

  • EMR Lake Formation을 사용하는 Serverless는 리소스 링크를 통해 공유되는 교차 계정 테이블 쿼리만 지원합니다.

  • 다음은 지원되지 않습니다.

    • 복원력 있는 분산 데이터 세트(RDD)

    • Spark 스트리밍

    • Lake Formation에 부여된 권한으로 쓰기

    • 중첩된 열에 대한 액세스 제어

  • EMR 서버리스는 다음을 포함하여 시스템 드라이버의 완전한 격리를 저해할 수 있는 기능을 차단합니다.

    • UDTs, H iveUDFs및 사용자 지정 클래스가 포함된 사용자 정의 함수

    • 사용자 지정 데이터 소스

    • Spark 확장, 커넥터 또는 메타스토어에 대한 추가 jar 제공

    • ANALYZE TABLE 명령

  • 액세스 제어 EXPLAIN PLAN 및와 같은 DDL 작업을 적용하려면 제한된 정보를 노출하지 DESCRIBE TABLE 마십시오.

  • EMR 서버리스는 Lake Formation 지원 애플리케이션의 시스템 드라이버 Spark 로그에 대한 액세스를 제한합니다. 시스템 드라이버는 더 많은 액세스 권한으로 실행되므로 시스템 드라이버가 생성하는 이벤트 및 로그에는 민감한 정보가 포함될 수 있습니다. 권한이 없는 사용자 또는 코드가이 민감한 데이터에 액세스하지 못하도록 EMR Serverless는 시스템 드라이버 로그에 대한 액세스를 비활성화했습니다. 문제 해결은 AWS 지원팀에 문의하십시오.

  • Lake Formation에 테이블 위치를 등록한 경우 데이터 액세스 경로는 EMR 서버리스 작업 런타임 역할에 대한 IAM 권한과 관계없이 Lake Formation에 저장된 자격 증명을 거칩니다. 테이블 위치에 등록된 역할을 잘못 구성하면 테이블 위치에 대한 S3 IAM 권한이 있는 역할을 사용하는 제출된 작업이 실패합니다.

  • Lake Formation 테이블에 쓸 때는 Lake Formation에서 IAM 권한을 부여하지 않고 권한을 사용합니다. 작업 런타임 역할에 필요한 S3 권한이 있는 경우 이를 사용하여 쓰기 작업을 실행할 수 있습니다.

다음은 Apache Iceberg를 사용하는 경우 고려 사항 및 제한 사항입니다.

  • Apache Iceberg는 세션 카탈로그에서만 사용할 수 있으며, 임의로 이름이 지정된 카탈로그에서는 사용할 수 없습니다.

  • Lake Formation에 등록된 Iceberg 테이블은 메타데이터 테이블 history, metadata_log_entries, snapshots, files, manifests, refs만 지원합니다. Amazon은 , partitions path및와 같이 민감한 데이터가 있을 수 있는 열을 EMR 숨깁니다summaries. 이 제한 사항은 Lake Formation에 등록되지 않은 Iceberg 테이블에 적용되지 않습니다.

  • Lake Formation에 등록하지 않은 테이블은 모든 Iceberg 저장 프로시저를 지원합니다. register_table 및 migrate 절차는 어떤 테이블에서도 지원되지 않습니다.

  • V1 대신 Iceberg DataFrameWriterV2를 사용하는 것이 좋습니다.