使用亚马逊 DocumentDB（兼容 MongoDB）作为来源 AWS DMS

有关 AWS DMS 支持将哪些版本的 Amazon DocumentDB（与 MongoDB 兼容）作为源的信息，请参阅 的来源 AWS DMS。

使用 Amazon DocumentDB 作为源，您可以将数据从一个 Amazon DocumentDB 集群迁移到另一个 Amazon DocumentDB 集群。您也可以将数据从 Amazon DocumentDB 集群迁移到支持的其他目标终端节点之一。 AWS DMS

如果您不熟悉 Amazon DocumentDB，请注意 Amazon DocumentDB 的以下重要概念：

AWS DMS 使用 Amazon DocumentDB 作为源代码时，支持两种迁移模式：文档模式和表格模式。在 AWS DMS 控制台中创建 Amazon DocumentDB 源终端节点时，您可以使用元数据模式选项或额外连接属性来指定迁移模式。nestingLevel在下文中，您可以找到有关迁移模式的选择如何影响所生成的目标数据格式的说明。

设置权限以使用 Amazon DocumentDB 作为源

使用 Amazon DocumentDB 源代码进行 AWS DMS 迁移时，您可以创建具有根权限的用户账户。或者，您可以创建一个仅具有待迁移数据库权限的用户。

以下代码创建作为根账户的用户。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

对于 Amazon DocumentDB 3.6，以下代码创建在要迁移的数据库上具有最低权限的用户。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

对于 Amazon DocumentDB 4.0 及更高版本， AWS DMS 使用部署范围内的更改流。此处，以下代码创建具有最小权限的用户。

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

为 Amazon DocumentDB 集群配置 CDC

要将持续复制或 CDC 与 Amazon DocumentDB 配合使用， AWS DMS 需要访问亚马逊文档数据库集群的变更流。有关集群的集合和数据库中按时间排列的更新事件序列的描述，请参阅《Amazon DocumentDB 开发人员指南》中的使用更改流。

使用 MongoDB Shell 对您的 Amazon DocumentDB 集群进行身份验证。然后运行以下命令以启用更改流。

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

这种方法可以为您数据库中的所有集合启用更改流。启用更改流后，您可以创建一个迁移任务，该任务可以迁移现有数据，同时复制正在进行的更改。 AWS DMS 即使加载了批量数据，仍会继续捕获和应用更改。最终，源数据库和目标数据库将保持同步，尽可能减少迁移的停机时间。

使用 TLS 连接到 Amazon DocumentDB

默认情况下，新创建的 Amazon DocumentDB 集群仅接受使用传输层安全性协议（TLS）的安全连接。当 TLS 启用时，每个到 Amazon DocumentDB 的连接都需要公有密钥。

您可以通过rds-combined-ca-bundle.pem从托管的 Amazon AWS S3 存储桶下载文件来检索 Amazon DocumentDB 的公钥。有关下载此文件的更多信息，请参阅《Amazon DocumentDB 开发人员指南》中的使用 TLS 加密连接。

下载rds-combined-ca-bundle.pem文件后，可以将其包含的公钥导入到 AWS DMS。以下步骤说明了如何完成此操作。

AWS CLI 以下示例使用 AWS DMS import-certificate命令导入公钥rds-combined-ca-bundle.pem文件。

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

创建 Amazon DocumentDB 源端点

您可以使用控制台或 AWS CLI创建 Amazon DocumentDB 源端点。通过控制台使用以下过程。

通过 CLI 使用以下过程。

对 Amazon DocumentDB 集合进行分段并以并行方式迁移

为了提高迁移任务的性能，Amazon DocumentDB 源端点支持表映射中的并行完全加载功能的两个选项。换句话说，在 JSON 设置中，对于并行完全加载，您可以使用表映射的自动分段或范围分段选项来迁移集合。自动分段选项允许您指定在每个话题中自动分段源 AWS DMS 以进行迁移的标准。范围分割选项允许您告知 DMS 要 AWS DMS 在每个线程中迁移的每个分段的具体范围。有关这些设置的更多信息，请参阅表和集合设置规则和操作。

使用自动分段范围并行迁移 Amazon DocumentDB 数据库

您可以并行迁移文档，方法是 AWS DMS 为每个线程指定自动分区（分段）数据的标准，尤其是每个线程要迁移的文档数量。使用这种方法， AWS DMS 尝试优化区段边界，以最大限度地提高每个线程的性能。

您可以在表映射中使用以下表设置选项来指定分段标准：

以下示例显示了自动分段的表映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自动分段有以下限制。每个区段的迁移分别提取集合计数和集合的最小 _id。然后，它使用分页跳过来计算该区段的最小边界。因此，请确保每个集合的最小 _id 值保持不变，直到计算出集合中的所有区段边界。如果在区段边界计算期间更改集合的最小 _id 值，则可能会导致数据丢失或重复行错误。

使用特定区段范围并行迁移 Amazon DocumentDB 数据库

以下示例显示了包含七个项目并将 _id 作为主键的 Amazon DocumentDB 集合。

要将集合拆分为三个区段以并行迁移，可以在迁移任务中添加表映射规则，如以下 JSON 示例所示。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

该表映射定义将源集合拆分为三个区段以并行迁移。以下是分段边界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

迁移任务完成后，您可以从任务日志中验证表是否并行加载，如以下示例所示。您还可以验证用于从源表中卸载每个区段的 Amazon DocumentDB find 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前， AWS DMS 支持以下 Amazon DocumentDB 数据类型作为区段键列：

使用 Amazon DocumentDB 作为源时迁移多个数据库 AWS DMS

AWS DMS 3.4.5 及更高版本仅支持在单个任务中迁移多个数据库，仅适用于 Amazon DocumentDB 版本 4.0 及更高版本。如果要迁移多个数据库，请执行以下操作：

例如，您可以指定以下 JSON 以迁移三个 Amazon DocumentDB 数据库。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

使用亚马逊 DocumentDB 作为来源时的限制 AWS DMS

以下是使用亚马逊 DocumentDB 作为来源时的限制： AWS DMS

在以 Amazon DocumentDB 为源时使用端点设置

您可以使用端点设置来配置 Amazon DocumentDB 源数据库，这与使用额外连接属性类似。您可以在使用 AWS DMS 控制台创建源端点时指定设置，或者使用中带有 --doc-db-settings '{"EndpointSetting": "value", ...}' JSON 语法的create-endpointAWS CLI命令来指定设置。

下表显示了在将 Amazon DocumentDB 用作源时可以使用的端点设置。

Amazon DocumentDB 的源数据类型

在下表中，您可以找到使用 AWS DMS时支持的 Amazon DocumentDB 源数据类型。您还可以在此表中找到 AWS DMS 数据类型的默认映射。有关数据类型的更多信息，请参阅 MongoDB 文档中的 BSON 类型。

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 AWS DMS 数据类型的更多信息，请参见AWS Database Migration Service 的数据类型。