Amazon SNS 메시지에 중복 제거 키 및 ID 지정

Amazon SNS 메시지를 사용하여 스트리밍 레이블 지정 작업에 데이터 객체를 보내는 경우 다음 방법 중 하나로 중복 제거 키와 중복 제거 ID를 지정할 수 있습니다. 이 모든 시나리오에서 dataset-objectid-attribute-name로 중복 제거 키를 식별합니다.

자체 중복 제거 키 및 ID 가져오기

다음과 같이 Amazon SNS 메시지를 구성하여 고유한 중복 제거 키와 중복 제거 ID를 생성합니다. byo-key를 자체 키로, UniqueId를 해당 데이터 객체용 중복 제거 ID로 교체합니다.

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1", 
    "dataset-objectid-attribute-name":"byo-key",
    "byo-key":"UniqueId" 
}

중복 제거 키는 최대 140자입니다. 지원되는 패턴은 다음과 같습니다. "^[$a-zA-Z0-9](-*[a-zA-Z0-9])*".

중복 제거 ID는 최대 1,024자입니다. 지원되는 패턴은 다음과 같습니다. ^(https|s3)://([^/]+)/?(.*)$.

기존 키를 중복 제거 키로 사용

메시지의 기존 키를 중복 제거 키로 사용할 수 있습니다. 이렇게 하면 해당 키와 관련된 값이 중복 제거 ID에 사용됩니다.

예를 들어 다음과 같이 메시지 형식을 지정하여 source-ref 키를 중복 제거 키로 사용하도록 지정할 수 있습니다.

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1",
    "dataset-objectid-attribute-name":"source-ref" 
}

이 예제에서 Ground Truth는 중복 제거 ID로 "s3://amzn-s3-demo-bucket/prefix/object1"을 사용합니다.