Amazon OpenSearch DynamoDB에서 통합 파이프라인 사용

통합 파이프라인을 DynamoDB와 함께 사용하여 DynamoDB 테이블 이벤트 (예: 생성, 업데이트, 삭제) 를 Amazon 서비스 도메인 및 OpenSearch 컬렉션으로 스트리밍할 수 있습니다. OpenSearch OpenSearch 통합 파이프라인은 변경 데이터 캡처 (CDC) 인프라를 통합하여 DynamoDB 테이블에서 데이터를 지속적으로 스트리밍할 수 있는 대규모의 지연 시간이 짧은 방법을 제공합니다.

DynamoDB를 데이터 처리를 위한 소스로 사용하는 두 가지 방법(전체 초기 스냅샷 사용 또는 사용 안 함)이 있습니다.

전체 초기 스냅샷은 DynamoDB가 복구 PITR () 기능과 함께 point-in-time 생성하는 테이블의 백업입니다. DynamoDB는 이 스냅샷을 Amazon S3로 업로드합니다. 거기에서 OpenSearch 통합 파이프라인은 데이터를 도메인의 한 인덱스로 보내거나 도메인의 여러 인덱스로 파티셔닝합니다. DynamoDB의 데이터를 일관되게 유지하기 위해 파이프라인은 OpenSearch DynamoDB 테이블의 모든 생성, 업데이트, 삭제 이벤트를 인덱스 또는 인덱스에 저장된 문서와 동기화합니다. OpenSearch

전체 초기 스냅샷을 사용하는 경우 OpenSearch 통합 파이프라인은 먼저 스냅샷을 수집한 다음 DynamoDB Streams에서 데이터를 읽기 시작합니다. 결국 DynamoDB와 DynamoDB 간의 데이터 일관성을 거의 실시간으로 따라잡고 유지합니다. OpenSearch 이 옵션을 선택하는 경우 테이블에서 DynamoDB 스트림을 둘 다 PITR 활성화해야 합니다.

또한 DynamoDB와의 OpenSearch 통합 기능을 사용하여 스냅샷 없이 이벤트를 스트리밍할 수 있습니다. 다른 메커니즘의 전체 스냅샷이 이미 있거나 DynamoDB 스트림을 사용하여 DynamoDB 테이블의 현재 이벤트만 스트리밍하려는 경우 이 옵션을 선택합니다. 이 옵션을 선택하는 경우 테이블에서 DynamoDB 스트림을 활성화해야 합니다.

이 통합에 대한 자세한 내용은 개발자 안내서의 OpenSearch Amazon 서비스와의 DynamoDB 제로 ETL 통합을 참조하십시오.Amazon DynamoDB

사전 조건

파이프라인을 설정하려면 DynamoDB 스트림이 활성화된 DynamoDB 테이블이 있어야 합니다. 스트림은 NEW_IMAGE 스트림 뷰 유형을 사용해야 합니다. 하지만 OpenSearch 수집 파이프라인은 이 스트림 뷰 유형이 사용 사례에 적합한 NEW_AND_OLD_IMAGES 경우 이벤트를 스트리밍할 수도 있습니다.

스냅샷을 사용하는 경우 테이블에서 point-in-time 복구도 활성화해야 합니다. 자세한 내용은 Amazon DynamoDB 개발자 안내서의 테이블 생성, point-in-time 복구 활성화 및 스트림 활성화를 참조하십시오.

1단계: 파이프라인 역할 구성

DynamoDB 테이블을 설정한 후 파이프라인 구성에서 사용하려는 파이프라인 역할을 설정하고 다음 DynamoDB 권한을 해당 역할에 추가합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowRunExportJob",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeTable",
                "dynamodb:DescribeContinuousBackups",
                "dynamodb:ExportTableToPointInTime"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table"
            ]
        },
        {
            "Sid": "allowCheckExportjob",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeExport"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table/export/*"
            ]
        },
        {
            "Sid": "allowReadFromStream",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeStream",
                "dynamodb:GetRecords",
                "dynamodb:GetShardIterator"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table/stream/*"
            ]
        },
        {
            "Sid": "allowReadAndWriteToS3ForExport",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket/{exportPath}/*"
            ]
        }
    ]
}

또한 AWS KMS 고객 관리 키를 사용하여 내보내기 데이터 파일을 암호화할 수 있습니다. 내보낸 객체를 해독하려면 파이프라인의 내보내기 구성에서 키 ID에 arn:aws:kms:us-west-2:{account-id}:key/my-key-id 형식으로 s3_sse_kms_key_id를 지정합니다. 다음 정책에는 고객 관리 키를 사용하는 데 필요한 권한이 포함되어 있습니다.

{
    "Sid": "allowUseOfCustomManagedKey",
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
    ],
    "Resource": arn:aws:kms:us-west-2:{account-id}:key/my-key-id
}

2단계: 파이프라인 생성

그런 다음 DynamoDB를 소스로 지정하는 다음과 같은 OpenSearch 통합 파이프라인을 구성할 수 있습니다. 이 샘플 파이프라인은 PITR 스냅샷에서 table-a 데이터를 수집한 다음 DynamoDB Streams에서 이벤트를 수집합니다. LATEST 시작 위치는 파이프라인이 DynamoDB 스트림에서 최신 데이터를 읽어야 함을 나타냅니다.

version: "2"
cdc-pipeline:
  source:
    dynamodb:
      tables:
      - table_arn: "arn:aws:dynamodb:us-west-2:{account-id}:table/table-a"  
        export:
          s3_bucket: "my-bucket"
          s3_prefix: "export/"
        stream:
          start_position: "LATEST"
      aws:
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      index: "${getMetadata(\"table_name\")}"
      index_type: custom
      normalize_index: true
      document_id: "${getMetadata(\"primary_key\")}"
      action: "${getMetadata(\"opensearch_action\")}"
      document_version: "${getMetadata(\"document_version\")}"
      document_version_type: "external"

사전 구성된 DynamoDB 블루프린트를 사용하여 이 파이프라인을 생성할 수 있습니다. 자세한 내용은 청사진을 사용하여 파이프라인 생성 단원을 참조하십시오.

데이터 일관성

OpenSearch 인제스트는 데이터 내구성을 보장하기 위해 승인을 지원합니다 end-to-end . 파이프라인에서는 스냅샷이나 스트림을 읽을 때 병렬 처리를 위해 동적으로 분할을 생성합니다. 파이프라인은 도메인 또는 컬렉션의 모든 레코드를 수집한 후 승인을 받으면 파티션을 완료된 것으로 표시합니다. OpenSearch

OpenSearch 서버리스 검색 컬렉션에 인제스트하려는 경우 파이프라인에서 문서 ID를 생성할 수 있습니다. OpenSearch 서버리스 시계열 컬렉션으로 인제스트하려는 경우 파이프라인은 문서 ID를 생성하지 않는다는 점에 유의하세요.

또한 OpenSearch 통합 파이프라인은 들어오는 이벤트 작업을 해당하는 대량 색인 작업에 매핑하여 문서를 수집하는 데 도움이 됩니다. 이렇게 하면 데이터 일관성이 유지되므로 DynamoDB의 모든 데이터 변경 사항이 해당 문서 변경 사항과 조정됩니다. OpenSearch

데이터 형식 매핑

OpenSearch 서비스는 수신되는 각 문서의 데이터 형식을 DynamoDB의 해당 데이터 유형에 동적으로 매핑합니다. 다음 표는 OpenSearch 서비스가 다양한 데이터 유형을 자동으로 매핑하는 방법을 보여줍니다.

{
 "template": {
  "mappings": {
   "properties": {
    "MixedNumberAttribute": {
     "type": "float"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "PartType": {
     "type": "keyword"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "ImageData": {
     "type": "binary"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "AdditionalDescriptions": {
     "properties": {
      "PartType": {
       "type": "keyword"
      }
     }
    }
   }
  }
 }
}

수집 파이프라인에서 데드레터 큐 (DLQ) 를 구성하는 것이 좋습니다. OpenSearch 큐를 구성한 경우 OpenSearch 서비스는 동적 매핑 실패로 인해 인제스트되지 못한 모든 실패한 문서를 큐로 전송합니다.

자동 매핑이 실패할 경우 파이프라인 구성에서 template_type 및 template_content를 사용하여 명시적 매핑 규칙을 정의할 수 있습니다. 또는 파이프라인을 시작하기 전에 검색 도메인이나 컬렉션에서 직접 매핑 템플릿을 생성할 수도 있습니다.

제한 사항

DynamoDB에 대한 OpenSearch 통합 파이프라인을 설정할 때는 다음 제한 사항을 고려하십시오.

DynamoDB에 대한 권장 CloudWatch 경보

수집 파이프라인의 성능을 모니터링할 때는 다음 CloudWatch 지표를 사용하는 것이 좋습니다. 이러한 지표를 통해 내보내기에서 처리되는 데이터의 양, 스트림에서 처리된 이벤트의 양, 내보내기 및 스트림 이벤트 처리 중 발생하는 오류, 대상에 기록된 문서 수를 식별할 수 있습니다. 이러한 지표 중 하나가 지정된 시간 동안 지정된 값을 초과할 경우 조치를 수행하도록 CloudWatch 경보를 설정할 수 있습니다.