使用 MongoDB 做為 AWS DMS 的來源

如需有關 AWS DMS 支援作為來源之 MongoDB 版本的資訊，請參閱 資料來源 AWS DMS。

請注意下列與 MongoDB 版本支援有關的事項：

如果您不熟悉 MongoDB，請注意以下重要的 MongoDB 資料庫概念：

使用 MongoDB 作為來源時，AWS DMS 支援兩種遷移模式：文件模式和資料表模式。您可以指定建立 MongoDB 端點時要使用的遷移模式，或從 AWS DMS 主控台設定中繼資料模式參數。或者，您可以在端點組態面板中選取 _id as a separate column 核取記號按鈕，以建立第二個名為 _id 的資料欄，作為主索引鍵。

遷移模式的選擇會影響目標資料的結果格式，請見下文說明。

使用 MongoDB 做為 AWS DMS 來源時需要的許可

針對 MongoDB 為來源的 AWS DMS 遷移，您可以建立有根權限的使用者帳戶，或僅有要遷移資料庫之許可的使用者。

以下程式碼建立的使用者會成為根帳戶。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

對於 MongoDB 3.x 來源，以下程式碼會在要遷移的資料庫上建立具有最基本權限的使用者。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

對於 MongoDB 4.x 來源，下面的程式碼會建立具有最基本權限的使用者。

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

例如，在「admin」資料庫中建立下列角色。

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

建立角色後，在要遷移的資料庫中建立使用者。

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

為 CDC 設定 MongoDB 複本集

若要在 MongoDB 使用持續複寫 (也就是 CDC)，AWS DMS 需要存取 MongoDB 操作日誌 (oplog)。若要建立 oplog，您需要部署複本集 (若無)。如需詳細資訊，請參閱 MongoDB 文件。

您可以使用 CDC 且以 MongoDB 複本集的主要或次要節點做為來源端點。

如果計劃執行文件模式遷移，請在建立 MongoDB 端點時選取選項 _id as a separate column。選取此選項會建立第二個資料行，名為 _id，做為主索引鍵。AWS DMS 需要這第二個資料行，以支援資料處理語言 (DML) 操作。

使用 MongoDB 做為 AWS DMS 來源時需要的安全需求

AWS DMS 支援兩種 MongoDB 身分驗證方法。這兩種身分驗證方法用於加密密碼，所以它們只能在 authType 參數設為 PASSWORD 時使用。

MongoDB 身分驗證方法如下所示：

如不指定身份驗證方法，則 AWS DMS 會使用 MongoDB 來源版本的預設方法。

將 MongoDB 集合分段並平行遷移

為了改善遷移任務的效能，MongoDB 來源端點在資料表對應中支援兩個平行完全載入選項。

換句話說，您可以在 JSON 設定中為平行完全載入，使用自動分段或包含資料表對應的範圍分割，以平行遷移集合。您可以使用自動分段，指定 AWS DMS 將每個執行緒中要遷移的來源自動分段的條件。您可以透過範圍分段，告知 AWS DMS 在每個執行緒中 DMS 要遷移的每個區段的特定範圍。如需這些設定的詳細資訊，請參閱資料表和集合設定規則與操作。

使用自動分段範圍平行遷移 MongoDB 資料庫

您可以指定為 AWS DMS 每個執行緒自動分割 (區段) 資料的條件，以平行方式遷移文件。特別是，您可以指定每個執行緒要遷移的文件數目。使用此方法時，AWS DMS 嘗試最佳化區段邊界，以獲得每個執行緒的最大效能。

您可以使用下列資料表對應中的資料表設定選項來指定分段條件。

下列範例顯示自動分段的資料表對應。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自動分段具有以下限制。每個區段的遷移會分別擷取集合計數和收集下限 _id。然後，其會使用分頁略過來計算該區段的最小邊界。

因此，請確保每個集合的最小 _id 值保持不變，直到集合中的所有區段邊界都經過計算為止。如果您在區段邊界計算期間變更集合的最小 _id 值，這可能會導致資料遺失或資料列重複錯誤。

使用範圍分段平行遷移 MongoDB 資料庫

您可以透過為執行緒中的每個區段指定範圍，以平行遷移文件。您可以使用這種方法，根據您選擇的每個執行緒的文件範圍，告訴 AWS DMS 在每個執行緒中要遷移的特定文件。

下圖顯示了具有七個項目的 MongoDB 集合，並將 _id 作為主索引鍵。

若要將集合分割成 AWS DMS 的三個特定區段並平行遷移，您可以將資料表對應規則新增至遷移任務。在以下 JSON 範例中會顯示此方法。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

該資料表對應定義會將來源集合分割為三個區段，並平行遷移。以下是分段邊界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

遷移任務完成後，您可以如下列範例所示，從任務日誌中確認資料表是否是平行載入。您也可以確認用來從來源資料表卸載每個區段的 MongoDB find 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前，AWS DMS 支援將下列 MongoDB 資料類型作為區段索引鍵資料欄：

使用 MongoDB 作為 AWS DMS 的來源時，遷移多個資料庫

AWS DMS 3.4.5 版及更高版本支援在所有受支援的 MongoDB 版本的單一任務中遷移多個資料庫。如果您要遷移多個資料庫，請採取這些步驟：

例如，您可以在下列指定 JSON 以遷移三個 MongoDB 資料庫。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

使用 MongoDB 做為 AWS DMS 來源時的限制

使用 MongoDB 做為 AWS DMS 來源時，有下列限制：

使用 MongoDB 作為 AWS DMS 來源時的端點組態設定

當您設定 MongoDB 來源端點時，您可以使用 AWS DMS 主控台指定多個端點組態設定。

下表說明使用 MongoDB 資料庫作為 AWS DMS 來源時可用的組態設定。

如果您選擇將文件作為中繼資料模式，則可使用不同的選項。

如果目標端點是 DocumentDB，請確保在文件模式中執行遷移。此外，修改來源端點並選取選項 _id as separate column。如果來源 MongoDB 工作負載涉及交易，這是必要的先決條件。

MongoDB 的來源資料類型

使用 MongoDB 做為 AWS DMS 來源的資料遷移，支援大部分的 MongoDB 資料類型。在下表中，您可找到在使用 AWS DMS 和來自 AWS DMS 資料類型的預設映射時受支援的 MongoDB 來源資料類型。如需 MongoDB 資料類型的詳細資訊，請參閱 MongoDB 文件中的 BSON 類型。

如需如何檢視從目標映射的資料類型資訊，請參閱您要使用的目標端點一節。

如需 AWS DMS 資料類型的詳細資訊，請參閱AWS Database Migration Service 的資料類型。