Apache Iceberg 테이블을 대상으로 사용하기 위한 사전 조건 - Amazon Data Firehose
Amazon S3의 Iceberg 테이블로 전송하기 위한 사전 조건Amazon S3 테이블로 전송하기 위한 사전 조건

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Apache Iceberg 테이블을 대상으로 사용하기 위한 사전 조건

다음 옵션 중에서 선택하여 필수 사전 조건을 완료합니다.

Amazon S3의 Iceberg 테이블로 전송하기 위한 사전 조건

시작하기 전에 다음 사전 조건을 완료합니다.

  • Amazon S3 버킷 생성 - 테이블 생성 중에 메타데이터 파일 경로를 추가하려면 Amazon S3 버킷을 생성해야 합니다. 자세한 내용은 S3 버킷 생성을 참조하세요.

  • 필요한 권한이 있는 IAM 역할 생성 - Firehose는 테이블에 액세스 AWS Glue 하고 Amazon S3에 데이터를 쓸 수 있는 특정 권한이 있는 IAM 역할이 필요합니다. 동일한 역할을 사용하여 Amazon S3 버킷에 대한 AWS Glue 액세스 권한을 부여합니다. Iceberg 테이블과 Firehose 스트림을 생성할 때이 IAM 역할이 필요합니다. 자세한 내용은 Firehose에 Apache Iceberg 테이블 대상에 대한 액세스 권한 부여 단원을 참조하십시오.

  • Apache Iceberg 테이블 생성 - 업데이트 및 삭제를 위해 Firehose 스트림에서 고유 키를 구성하는 경우 Firehose는 테이블과 고유 키가 스트림 생성의 일부로 존재하는지 확인합니다. 이 시나리오에서는 Firehose 스트림을 생성하기 전에 테이블을 생성해야 합니다. AWS Glue 를 사용하여 Apache Iceberg 테이블을 생성할 수 있습니다. 자세한 내용은 Creating Apache Iceberg 테이블(Apache Iceberg 테이블 생성)을 참조하세요. Firehose 스트림에서 고유 키를 구성하지 않는 경우 Firehose 스트림을 생성하기 전에 Iceberg 테이블을 생성할 필요가 없습니다.

    참고

    Firehose는 Apache Iceberg 테이블에 대해 다음의 테이블 버전과 형식을 지원합니다.

    • 테이블 형식 버전 - Firehose는 V2 테이블 형식만 지원합니다. V1 형식으로 테이블을 생성하지 마세요. 그렇지 않으면 오류가 발생하고 데이터가 S3 오류 버킷으로 전송됩니다.

    • 데이터 스토리지 형식 - Firehose는 Apache Iceberg 테이블에 데이터를 Parquet 형식으로 씁니다.

    • 행 수준 작업 - Firehose는 Apache Iceberg 테이블에 데이터를 쓰는 Merge-on-Read(MOR) 모드를 지원합니다.

Amazon S3 테이블로 전송하기 위한 사전 조건

Amazon S3 테이블 버킷에 데이터를 전송하려면 다음 사전 조건을 완료합니다.

  • 필요한 권한이 있는 IAM 역할 생성 - Firehose는 AWS Glue 테이블에 액세스하고 Amazon S3 테이블 버킷의 테이블에 데이터를 쓸 수 있는 특정 권한이 있는 IAM 역할이 필요합니다. S3 테이블 버킷의 테이블에 쓰려면에서 필요한 권한을 IAM 역할에 제공해야 합니다 AWS Lake Formation. Firehose 스트림을 생성할 때이 IAM 역할을 구성합니다. 자세한 내용은 Firehose에 Amazon S3 테이블에 대한 액세스 권한 부여를 참조하세요.

  • S3 테이블 버킷, 네임스페이스, 테이블 버킷의 테이블 및 Amazon S3 테이블과 AWS 분석 서비스 통합에 설명된 기타 통합 단계를 생성합니다.

    참고

    설명된 단계에서 이전에 생성한 IAM 역할에 DESCRIBE 권한을 부여합니다 AWS Lake Formation .

    라우팅을 위해 Firehose 스트림 구성에서 사전 조건의 일부로 생성된 데이터베이스 및 테이블의 리소스 링크 이름을 데이터베이스 및 테이블 이름으로 사용합니다. 단일 테이블로 라우팅하는 경우 Firehose 스트림 구성의 고유 키 섹션에서 이를 사용하거나 Firehose가 JSON 쿼리 표현식을 사용하여 올바른 테이블로 라우팅할 수 있도록 입력 데이터의 일부로 보낼 수 있습니다.

    리소스 링크를 생성하는 자세한 방법은 Lake Formation 사용 설명서의 공유 데이터 카탈로그 테이블에 대한 리소스 링크 생성 또는 공유 데이터 카탈로그 데이터베이스에 대한 리소스 링크 생성을 참조하세요.