在 Amazon SNS 消息中指定重复数据删除密钥和 ID

当您使用 Amazon SNS 消息将数据对象发送到流式标签任务时，您可以选择通过以下方式之一指定重复数据删除密钥和重复数据删除 ID。在所有这些情况下，请使用 dataset-objectid-attribute-name 识别重复数据删除键。

自带重复数据删除键和 ID

按如下方式配置您的 Amazon SNS 消息，创建您自己的重复数据删除密钥和重复数据删除 ID。将 byo-key 替换为您的键，将 UniqueId 替换为该数据对象的重复数据删除 ID。

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1", 
    "dataset-objectid-attribute-name":"byo-key",
    "byo-key":"UniqueId" 
}

重复数据删除键最多可包含 140 个字符。支持的模式包括："^[$a-zA-Z0-9](-*[a-zA-Z0-9])*"。

重复数据删除 ID 最多可包含 1024 个字符。支持的模式包括：^(https|s3)://([^/]+)/?(.*)$。

将现有键用于重复数据删除键

您可以使用消息中的现有键作为重复数据删除键。执行此操作时，与该键关联的值将用于重复数据删除 ID。

例如，您可以通过以下方式格式化消息，指定使用 source-ref 键作为重复数据删除键：

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1",
    "dataset-objectid-attribute-name":"source-ref" 
}

在此示例中，Ground Truth 将 "s3://amzn-s3-demo-bucket/prefix/object1" 用于重复数据删除 ID。