将传入记录路由到单个 Iceberg 表 - Amazon Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将传入记录路由到单个 Iceberg 表

如果您希望 Firehose 将数据插入到单个 Iceberg 表,只需在流配置中配置单个数据库和表即可,如以下示例所示。JSON对于单个表,您不需要 JQ 表达式和 Lambda 函数来向 Firehose 提供路由信息。如果您将这些字段与 JQ 或 Lambda 一起提供,则 Firehose 将从 JQ 或 Lambda 获取输入。

[ { "DestinationDatabaseName": "UserEvents", "DestinationTableName": "customer_id", "UniqueKeys": [ "COLUMN_PLACEHOLDER" ], "S3ErrorOutputPrefix": "OPTIONAL_PREFIX_PLACEHOLDER" } ]

在此示例中,Firehose 将所有输入记录路由到 UserEvents 数据库中的 customer_id 表。如果要对单个表执行更新或删除操作,则需要使用方法或 Lambda JSONQuery方法将每条传入记录的操作提供给 Firehose。