Apache Iceberg V3 작업

Apache Iceberg 버전 3(V3)은 Apache Iceberg 테이블 형식 사양의 최신 버전으로, 성능이 향상되고 운영 오버헤드가 줄어 페타바이트 규모의 데이터 레이크를 빌드하기 위한 고급 기능을 도입했습니다. V3는 특히 배치 업데이트 및 규정 준수 삭제와 관련하여 버전 2(V2)에서 발생하는 일반적인 성능 병목 현상을 해결합니다.

AWS는 Apache Iceberg 버전 3(V3) 사양에 정의된 삭제 벡터, 행 계보, 변형 데이터 유형에 대한 지원을 제공합니다. 이러한 기능은 Amazon S3 Tables를 포함하여 Amazon EMR의 Apache Spark, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks, AWS Glue Data Catalog의 Apache Iceberg 테이블에서 사용할 수 있습니다. 변형 데이터 유형은 S3 Tables에 전용입니다.

V3의 주요 기능

버전 호환성

V3는 V2 테이블과의 이전 버전과의 호환성을 유지합니다. AWS 서비스는 V2 및 V3 테이블을 동시에 지원하므로 다음을 수행할 수 있습니다.

V3 시작하기

사전 조건

V3 테이블로 작업하기 전에 다음을 확인해야 합니다.

V3 테이블 생성

새 V3 테이블 생성

새 Iceberg V3 테이블을 생성하려면 형식 버전 테이블 속성을 3으로 설정합니다.

Spark SQL 사용:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

V2 테이블을 V3로 업그레이드

데이터를 다시 작성하지 않고도 기존 V2 테이블을 V3로 원자적으로 업그레이드할 수 있습니다.

Spark SQL 사용:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

업그레이드 중에 발생하는 일:

삭제 벡터 활성화

업데이트, 삭제 및 병합에 삭제 벡터를 활용하려면 쓰기 모드를 구성합니다.

Spark SQL 사용:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

이러한 설정은 업데이트, 삭제 및 병합 작업이 전체 데이터 파일을 다시 작성하는 대신 삭제 벡터 파일을 생성하도록 합니다.

변경 추적을 위한 행 계보 활용

V3는 행 계보 메타데이터 필드를 자동으로 추가하여 변경 사항을 추적합니다.

Spark SQL 사용:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 필드는 각 행을 고유하게 식별하는 반면, _last_updated_sequence_number는 행이 마지막으로 수정된 시점을 추적합니다. 다음 필드를 사용하여 다음을 수행할 수 있습니다.

변형 데이터 유형 사용

변형 데이터 유형을 사용하면 고정된 스키마를 미리 정의하지 않고도 Iceberg 테이블에 JSON과 같은 반정형 데이터를 직접 쓸 수 있습니다. 효율적인 분석 쿼리 성능을 유지하면서 더 빠르게 데이터를 쓸 수 있습니다. Iceberg V3 호환 엔진은 반정형 데이터를 작성할 때 이를 숨겨진 열로 분해합니다. 이러한 숨겨진 열은 쿼리 엔진이 파일 정리와 같은 최적화에 사용하는 Parquet 열 통계를 생성합니다.

Spark SQL을 사용하여 변형 열이 있는 테이블 생성:

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

변형 열에 반정형 데이터 삽입:

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

S3 Tables를 사용하면 압축을 포함하여 변형 열에 대한 테이블 유지 관리가 자동으로 실행됩니다. 압축은 작은 파일의 반정형 소스 데이터를 Iceberg 엔진이 효율적으로 읽을 수 있는 더 큰 파일로 통합하여 시간이 지남에 따라 쿼리 성능을 개선합니다.

V3의 모범 사례

V3를 사용해야 하는 경우

다음과 같은 경우 V3로 업그레이드하거나 V3로 시작하는 것이 좋습니다.

쓰기 성능 최적화

읽기 성능 최적화

마이그레이션 전략

V2에서 V3로 마이그레이션하는 경우:

호환성 고려 사항

압축 고려 사항

압축은 기본적으로 분해된 변형 Parquet 파일을 씁니다. 분해 기능을 지원하지 않는 이전 리더는 압축된 파일을 읽지 못할 수 있습니다. 테이블 속성 write.variant.shredding.enabled=false를 설정하여 분해 기능을 비활성화할 수 있습니다.

문제 해결

공통 문제

도움말 보기

가격 책정

가용성

삭제 벡터 및 행 계보에 대한 Apache Iceberg V3 지원은 Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL 및 S3 Tables가 운영되는 모든 AWS 리전에서 사용할 수 있습니다.

S3 Tables의 변형 데이터 유형은 다음 AWS 리전에서 사용할 수 있습니다. 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 아시아 태평양(뭄바이), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 캐나다(중부), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(스톡홀름), 남아메리카(상파울루).

추가 리소스