고려 사항 및 제한 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

고려 사항 및 제한

EMR Serverless와 함께 Lake Formation을 사용할 때는 다음 고려 사항과 제한 사항을 고려하세요.

참고

EMR Serverless에서 Spark 작업에 Lake Formation을 활성화하면 작업이 시스템 드라이버와 사용자 드라이버를 시작합니다. 시작 시 미리 초기화된 용량을 지정한 경우 미리 초기화된 용량의 드라이버 프로비저닝과 시스템 드라이버 수는 지정한 사용자 드라이버 수와 같습니다. 온디맨드 용량을 선택하면 EMR Serverless는 사용자 드라이버 외에도 시스템 드라이버를 시작합니다. Lake Formation 작업을 사용하는 EMR Serverless와 관련된 비용을 추정하려면 를 사용합니다AWS Pricing Calculator.

Lake Formation을 사용하는 Amazon EMR Serverless는 AWS GovCloud (미국 동부) 및 AWS GovCloud (미국 서부)를 제외한 지원되는 모든 EMR Serverless 리전에서 사용할 수 있습니다.

  • Amazon EMR Serverless는 Apache Hive 및 Apache Iceberg 테이블에 대해서만 Lake Formation을 통해 세분화된 액세스 제어를 지원합니다. Apache Hive 형식에는 Parquet, ORC및 xSV가 포함됩니다.

  • Lake Formation 지원 애플리케이션은 사용자 지정 EMR Serverless 이미지 의 사용을 지원하지 않습니다.

  • Lake Formation 작업DynamicResourceAllocation의 경우 를 끌 수 없습니다.

  • Lake Formation은 Spark 작업에만 사용할 수 있습니다.

  • EMR Lake Formation을 사용하는 Serverless는 작업 전체에서 단일 Spark 세션만 지원합니다.

  • EMR Lake Formation을 사용하는 Serverless는 리소스 링크를 통해 공유되는 교차 계정 테이블 쿼리만 지원합니다.

  • 다음은 지원되지 않습니다.

    • 복원력 있는 분산 데이터 세트(RDD)

    • Spark 스트리밍

    • Lake Formation에 부여된 권한으로 쓰기

    • 중첩된 열에 대한 액세스 제어

  • EMR 서버리스는 다음을 포함하여 시스템 드라이버의 완전한 격리를 저해할 수 있는 기능을 차단합니다.

    • UDTs, H iveUDFs및 사용자 지정 클래스가 포함된 사용자 정의 함수

    • 사용자 지정 데이터 소스

    • Spark 확장, 커넥터 또는 메타스토어용 추가 jar 공급

    • ANALYZE TABLE 명령

  • 액세스 제어 EXPLAIN PLAN 및 와 같은 DDL 작업을 적용하려면 제한된 정보를 노출하지 DESCRIBE TABLE 마세요.

  • EMR 서버리스는 Lake Formation 지원 애플리케이션에서 시스템 드라이버 Spark 로그에 대한 액세스를 제한합니다. 시스템 드라이버는 더 많은 액세스 권한으로 실행되므로 시스템 드라이버가 생성하는 이벤트 및 로그에는 민감한 정보가 포함될 수 있습니다. 권한이 없는 사용자 또는 코드가 이 민감한 데이터에 액세스하지 못하도록 EMR Serverless는 시스템 드라이버 로그에 대한 액세스를 비활성화했습니다. 문제 해결은 AWS 지원팀에 문의하세요.

  • Lake Formation에 테이블 위치를 등록하면 EMR 서버리스 작업 런타임 역할에 대한 IAM 권한과 관계없이 데이터 액세스 경로가 Lake Formation에 저장된 보안 인증을 거칩니다. 테이블 위치에 등록된 역할을 잘못 구성하면 테이블 위치에 대한 S3 IAM 권한이 있는 역할을 사용하는 제출된 작업이 실패합니다.

  • Lake Formation 테이블에 쓸 때는 Lake Formation에서 IAM 권한을 부여하지 않고 권한을 사용합니다. 작업 런타임 역할에 필요한 S3 권한이 있는 경우 이를 사용하여 쓰기 작업을 실행할 수 있습니다.

다음은 Apache Iceberg 사용 시 고려 사항 및 제한 사항입니다.

  • Apache Iceberg는 세션 카탈로그에만 사용할 수 있으며 임의로 이름이 지정된 카탈로그에는 사용할 수 없습니다.

  • Lake Formation에 등록된 Iceberg 테이블은 메타데이터 테이블 history, , metadata_log_entries, snapshots, files및 manifests만 지원합니다refs. Amazon은 , partitions path및 와 같이 민감한 데이터가 있을 수 있는 열을 EMR 숨깁니다summaries. 이 제한은 Lake Formation에 등록되지 않은 Iceberg 테이블에는 적용되지 않습니다.

  • Lake Formation에 등록하지 않은 테이블은 모든 Iceberg 저장 프로시저를 지원합니다. register_table 및 migrate 절차는 어떤 테이블에도 지원되지 않습니다.

  • V1 대신 Iceberg DataFrameWriterV2를 사용하는 것이 좋습니다.