使用 Apache Iceberg V3

Apache Iceberg 版本 3（V3）是 Apache Iceberg 表格式规范的最新版本，此版本引入了高级功能用于构建 PB 级数据湖，同时改善性能并降低运营开销。V3 解决了版本 2（V2）中会遇到的常见性能瓶颈，尤其是在批量更新和合规删除方面。

AWS 支持删除向量、行谱系以及变体数据类型，如 Apache Iceberg 版本 3（V3）规范中所定义。您可以在下列服务中使用这些功能：Amazon EMR 上的 Apache Spark、AWS Glue ETL、Amazon SageMaker 融通式合作开发工作室笔记本；以及 AWS Glue Data Catalog 中的 Apache Iceberg 表（包括 Amazon S3 表类数据存储服务）。变体数据类型特定于 S3 表类数据存储服务。

V3 中的主要功能

版本兼容性

V3 保持与 V2 表的向后兼容性。AWS 服务同时支持 V2 和 V3 表，让您可以：

开始使用 V3

先决条件

使用 V3 表之前，请确保您具有：

创建 V3 表

创建新 V3 表

要创建新 Iceberg V3 表，请将 format-version 表属性设置为 3。

使用 Spark SQL：

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

将 V2 表升级到 V3

您可以自动将现有 V2 表升级到 V3 而无需重写数据。

使用 Spark SQL：

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

升级期间发生的操作：

启用删除向量

要利用删除向量进行更新、删除和合并，请配置您的写入模式。

使用 Spark SQL：

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

这些设置可确保更新、删除和合并操作创建删除向量文件，而不是重写整个数据文件。

利用行谱系进行变更跟踪

V3 会自动添加行谱系元数据字段用于跟踪更改。

使用 Spark SQL：

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 字段唯一地标识每行，而 _last_updated_sequence_number 则跟踪上次修改该行的时间。使用这些字段可以：

使用变体数据类型

使用变体数据类型，您可以直接在 Iceberg 表中写入 JSON 等半结构化数据，而无需事先定义固定的架构。您可以更快地写入数据，同时仍能获得高效的分析查询性能。与 Iceberg V3 兼容的引擎会在您写入半结构化数据时将其分解为隐藏列。这些隐藏列会生成 Parquet 列统计信息，供查询引擎用于文件裁剪等优化。

使用 Spark SQL 创建包含变体列的表：

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

将半结构化数据插入变体列：

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

使用 S3 表类数据存储服务时，变体列的表维护（包括压缩）会自动运行。压缩可将来自半结构化源的数据从小文件合并为更大的文件，Iceberg 引擎可以更高效地读取这些文件，以便随时间推移提升查询性能。

V3 最佳实践

何时使用 V3

在以下情况下，可以考虑升级到 V3 或直接开始使用 V3：

优化写入性能

优化读取性能

迁移策略

从 V2 迁移到 V3：

兼容性注意事项

压缩注意事项

默认情况下，压缩会写入经过分解的变体 Parquet 文件。不支持分解的旧版读取器可能无法读取压缩后的文件。您可以通过设置表属性 write.variant.shredding.enabled=false 来禁用分解。

问题排查

常见问题

获取帮助

定价

可用性

所有提供 Amazon EMR、AWS Glue Data Catalog、AWS Glue ETL 和 S3 表类数据存储服务的 AWS 区域均支持 Apache Iceberg V3 的删除向量和行谱系功能。

以下 AWS 区域提供了 S3 表类数据存储服务中的变体数据类型：美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、亚太地区（孟买）、亚太地区（首尔）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、加拿大（中部）、欧洲地区（法兰克福）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（斯德哥尔摩）和南美洲（圣保罗）。

其他资源