使用 OpenSearch 擷取管道搭配 Amazon DocumentDB

您可以將 OpenSearch 擷取管道與 Amazon DocumentDB 搭配使用，將文件變更 (例如建立、更新和刪除) 串流至 Amazon OpenSearch 服務網域和集合。 OpenSearch 擷取管道可利用變更資料擷取 (CDC) 機制 (如果 Amazon DocumentDB 叢集上有的話)，或者API輪詢提供高規模、低延遲的方式來持續從 Amazon DocumentDB 叢集串流資料。

您可以透過兩種方式使用 Amazon DocumentDB 做為處理資料的來源，無論是否有完整的初始快照。

完整的初始快照是整個 Amazon DocumentDB 集合的大量查詢。Amazon DocumentDB 將此快照上傳到 Amazon S3。從那裡， OpenSearch 擷取管線會將其傳送到網域中的一個索引，或將其分割為網域中的多個索引。為了保持 Amazon DocumentDB 中的資料和 OpenSearch 一致性，管道會將 Amazon DocumentDB 集合中的所有建立、更新和刪除事件與儲存在索引中的文件同步。 OpenSearch

當您使用完整的初始快照時， OpenSearch 擷取管道會先擷取快照，然後開始從 Amazon DocumentDB 變更串流讀取資料。它最終趕上並維持 Amazon DocumentDB 和. 之間的近乎即時的資料一致性。 OpenSearch

您也可以使用 Amazon DocumentDB 的 OpenSearch 擷取整合，在不使用快照的情況下串流事件。如果您已經擁有來自某些其他機制的完整快照，或者只是想要使用變更串流從 Amazon DocumentDB 集合串流目前的事件，請選擇此選項。

使用這兩個選項時，如果在管道中設定中啟用串流，則必須在 Amazon DocumentDB 集合上啟用變更串流。如果您只使用完整載入或匯出，則不需要啟用變更串流。

必要條件

建立 OpenSearch 擷取管道之前，請執行下列步驟：

步驟 1：設定管線角色

設定 Amazon DocumentDB 管道先決條件之後，請設定要在管道組態中使用的管道角色，並在該角色中新增以下 Amazon DocumentDB 許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowS3ListObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::{s3_bucket}"
            ],
            "Condition": {
                "StringLike": {
                    "s3:prefix": "{s3_prefix}/*"
                }
            }
        },
        {
            "Sid": "allowReadAndWriteToS3ForExportStream",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::{s3_bucket}/{s3_prefix}/*"
            ]
        },
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue"
            ],
            "Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ 
                "ec2:CreateTags"
            ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": 
                    {
                        "aws:RequestTag/OSISManaged": "true"
                    } 
            } 
        }
    ]
}

您必須對用於建立 OpenSearch 擷取管道的IAM角色提供上述 Amazon EC2 許可，因為管道使用這些許可在您VPC的網路界面中建立和刪除網路界面。管道只能透過此網路界面存取 Amazon DocumentDB 叢集。

步驟 2：建立管道

然後，您可以設定如下所示的 OpenSearch 擷取管道，該管道會將 Amazon DocumentDB 指定為來源。請注意，若要填入索引名稱，getMetadata函數會使用documentdb_collection做為中繼資料索引鍵。如果您想在不使用該getMetadata方法的情況下使用不同的索引名稱，則可以使用配置index: "my_index_name"。

version: "2"
documentdb-pipeline:
  source:
    documentdb:
      acknowledgments: true
      host: "https://docdb-cluster-id.us-east-1.docdb.amazonaws.com"
      port: 27017
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
      aws:
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
      s3_bucket: "bucket-name"
      s3_region: "bucket-region" 
      s3_prefix: "path" #optional path for storing the temporary data
      collections:
        - collection: "dbname.collection"
          export: true
          stream: true
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      index: "${getMetadata(\"documentdb_collection\")}"
      index_type: custom
      document_id: "${getMetadata(\"primary_key\")}"
      action: "${getMetadata(\"opensearch_action\")}"
      document_version: "${getMetadata(\"document_version\")}"
      document_version_type: "external"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-docdb-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H   

您可以使用預先設定的 Amazon DocumentDB 藍圖來建立此管道。如需詳細資訊，請參閱使用藍圖建立管道。

如果您使用建立管道，您還必須將管道附加到您VPC的，才能使用 Amazon DocumentDB 做為來源。 AWS Management Console 若要這麼做，請找到 [網路設定] 區段，選取 [連接至] VPC 核取方塊，然後CIDR從提供的預設選項中選擇您的選項，或選取您自己的選項。您可以使用 CIDR「RFC1918 年最佳目前作法」中定義的私人位址空間中的任何位址空間。

若要提供自訂CIDR，請從下拉式功能表中選取「其他」。若要避免 OpenSearch 擷取和 Amazon DocumentDB 之間的 IP 地址發生衝突，請確保 Amazon DocumentDB 與用於擷取的VPCCIDR不同。CIDR OpenSearch

如需詳細資訊，請參閱設定管線的VPC存取權限。

資料一致性

管道會持續輪詢或接收來自 Amazon DocumentDB 叢集的變更，並更新索引中的對應文件，以確保資料一致性。 OpenSearch

OpenSearch 擷取支援確 end-to-end 認，以確保資料耐久性。管道讀取快照或串流時，會動態建立分割區以進行 parallel 處理。管道會在擷取 OpenSearch 網域或集合中的所有記錄後收到確認後，將分割區標示為完整。

如果您想要導入 OpenSearch 無伺服器搜尋集合，可以在管道中產生文件 ID。如果您想要內嵌至 OpenSearch 無伺服器時間序列集合，請注意，管線不會產生文件 ID，因此您必須在管線接收器組態document_id: "${getMetadata(\"primary_key\")}"中省略。

OpenSearch 擷取管線也會將傳入的事件動作對應至對應的大量索引動作，以協助擷取文件。這樣可以保持資料一致，以便 Amazon DocumentDB 中的每個資料變更都能與中的對應文件變更協調。 OpenSearch

對映資料類型

OpenSearch 服務會將每個傳入文件中的資料類型動態對應至 Amazon DocumentDB 中的對應資料類型。下表顯示了 OpenSearch 服務如何自動映射各種數據類型。

{
 "template": {
  "mappings": {
   "properties": {
    "MixedNumberField": {
     "type": "float"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "MixedNumberField": {
     "type": "float"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "PartType": {
     "type": "keyword"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "MixedNumberField": {
     "type": "float"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "myDateField": {
     "type": "date",
     "format": "epoch_second"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "myTimestampField": {
     "type": "date",
     "format": "epoch_second"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "myDecimalField": {
     "type": "double"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "imageData": {
     "type": "binary"
    }
   }
  }
 }
}

建議您在 OpenSearch 擷取管線中設定無效字母佇列 (DLQ)。如果您已設定佇列， OpenSearch Service 會將由於動態對應失敗而無法擷取的所有失敗文件傳送至佇列。

如果自動對映失敗，您可以在管線組態template_content中使用 template_type and 來定義明確的對應規則。或者，您可以在啟動管道之前，直接在搜尋網域或集合中建立對應範本。

限制

為 Amazon DocumentDB 設定 OpenSearch 擷取管道時，請考慮下列限制：