Verwenden von MongoDB als Quelle für AWS DMS

Informationen zu den Versionen von MongoDB, die AWS DMS als Quelle unterstützt, finden Sie unter Quellen für AWS DMS.

Beachten Sie Folgendes im Zusammenhang mit der Unterstützung der MongoDB-Versionen:

Falls Sie noch keine Erfahrung mit MongoDB haben, beachten Sie die folgenden wichtigen MongoDB-Datenbankkonzepte:

AWS DMS unterstützt zwei Migrationsmodi, wenn MongoDB als Quelle verwendet wird: den Dokumentmodus und den Tabellenmodus. Sie geben den zu verwendenden Migrationsmodus während der Erstellung des MongoDB-Endpunkts oder durch Festlegen des Parameters Metadatenmodus in der AWS DMS-Konsole an. Optional können Sie eine zweite Spalte mit der Bezeichnung _id erstellen, die als Primärschlüssel fungiert, indem Sie im Endpunktkonfigurationsbereich das Häkchen für _id als separate Spalte setzen.

Der ausgewählte Migrationsmodus wirkt sich wie nachstehend erläutert auf das resultierende Format der Zieldaten aus.

Erforderliche Berechtigungen für die Verwendung von MongoDB als Quelle für AWS DMS

Bei einer AWS DMS-Migration mit einer MongoDB-Quelle können Sie entweder ein Benutzerkonto mit Stammverzeichnisberechtigungen oder einen Benutzer nur mit Berechtigungen für die zu migrierende Datenbank erstellen.

Der folgende Code erstellt einen Benutzer als Stammkonto.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

Für eine MongoDB-3.x-Quelle wird mit dem folgenden Code ein Benutzer mit minimalen Berechtigungen für die zu migrierende Datenbank erstellt.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

Für eine MongoDB-4.x-Quelle wird mit dem folgenden Code ein Benutzer mit minimalen Berechtigungen erstellt.

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

Erstellen Sie beispielsweise die folgende Rolle in der Datenbank „admin“.

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

Nachdem die Rolle erstellt wurde, erstellen Sie einen Benutzer in der zu migrierenden Datenbank.

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

Konfigurieren eines MongoDB-Replikatsatzes für CDC

Um die laufende Replikation oder CDC mit MongoDB verwenden zu können, benötigt AWS DMS Zugriff auf das Protokoll der MongoDB-Operationen (Oplog). Zum Erstellen des Protokolls "oplog" müssen Sie einen Replikatsatz bereitstellen, sofern keiner vorhanden ist. Weitere Informationen finden Sie in der MongoDB-Dokumentation.

Sie können CDC mit dem primären oder sekundären Knoten eines MongoDB-Replikatsatzes als Quellendpunkt verwenden.

Wenn Sie eine Migration im Dokumentmodus durchführen möchten, wählen Sie beim Erstellen des MongoDB-Endpunkts die Option _id as a separate column aus. Bei Auswahl dieser Option wird eine zweite Spalte namens _id erstellt, die als Primärschlüssel fungiert. Diese zweite Spalte wird von AWS DMS zur Unterstützung von DML-Operationen (Data Manipulation Language) benötigt.

Sicherheitsanforderungen für die Verwendung von MongoDB als Quelle für AWS DMS

AWS unterstützt zwei Authentifizierungsmethoden für MongoDB. Die beiden Authentifizierungsmethoden werden verwendet, um das Passwort zu verschlüsseln, daher werden sie nur verwendet, wenn der Parameter authType auf PASSWORD festgelegt ist.

Die MongoDB-Authentifizierungsmethoden sind:

Wenn keine Authentifizierungsmethode angegeben ist, verwendet AWS DMS die Standardmethode für die Version der MongoDB-Quelle.

Segmentieren von MongoDB-Sammlungen und parallele Migration

Um die Leistung einer Migrationsaufgabe zu verbessern, unterstützen MongoDB-Quellendpunkte zwei Optionen für paralleles vollständiges Laden bei der Tabellenzuordnung.

Anders ausgedrückt: Sie können eine Sammlung parallel migrieren, indem Sie entweder die automatische Segmentierung oder die Bereichssegmentierung mit der Tabellenzuordnung für paralleles vollständiges Laden in den JSON-Einstellungen verwenden. Mit der automatischen Segmentierung können Sie die Kriterien angeben, nach denen AWS DMS Ihre Migrationsquelle in jedem Thread automatisch segmentieren soll. Mit der Bereichssegmentierung können Sie AWS DMS den spezifischen Bereich jedes Segments mitteilen, den DMS in jedem Thread migrieren soll. Weitere Informationen zu diesen Einstellungen finden Sie unter Regeln und Operationen für Tabellen- und Sammlungseinstellungen.

Parallele Migration einer MongoDB-Datenbank mithilfe von Bereichen für die automatische Segmentierung

Sie können Ihre Dokumente parallel migrieren, indem Sie die Kriterien angeben, nach denen AWS DMS Ihre Daten für jeden Thread automatisch partitionieren (segmentieren) soll. Insbesondere geben Sie die Anzahl an Dokumenten an, die pro Thread migriert werden sollen. Bei diesem Verfahren versucht AWS DMS, die Segmentgrenzen zu optimieren, um eine maximale Leistung pro Thread zu erzielen.

Sie können die Segmentierungskriterien mithilfe der folgenden Tabelleneinstellungsoptionen in der Tabellenzuordnung angeben.

Das folgende Beispiel zeigt eine Tabellenzuordnung für die automatische Segmentierung.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

Für die automatische Segmentierung gelten die folgenden Einschränkungen. Bei der Migration für die einzelnen Segmente werden die Sammlungsanzahl und der _id-Mindestwert für die Sammlung separat abgerufen. Anschließend wird die Mindestgrenze für dieses Segment anhand eines seitenweisen Überspringens berechnet.

Stellen Sie daher sicher, dass der _id-Mindestwert für jede Sammlung konstant bleibt, bis alle Segmentgrenzen in der Sammlung berechnet wurden. Wenn Sie den _id-Mindestwert für eine Sammlung während der Berechnung der Segmentgrenze ändern, kann dies zu Datenverlust oder zu Fehlern aufgrund von doppelten Zeilen führen.

Parallele Migration einer MongoDB-Datenbank mithilfe der Bereichssegmentierung

Sie können Ihre Dokumente parallel migrieren, indem Sie die Bereiche für jedes Segment in einem Thread angeben. Bei diesem Verfahren teilen Sie AWS DMS in jedem Thread mit, welche spezifischen Dokumente migriert werden sollen, je nachdem, welche Dokumentbereiche Sie pro Thread auswählen.

Die folgende Abbildung zeigt eine MongoDB-Sammlung mit sieben Elementen und _id als Primärschlüssel.

Um die Sammlung in drei spezifische Segmente aufzuteilen, die AWS DMS parallel migrieren kann, können Sie Ihrer Migrationsaufgabe Regeln für die Tabellenzuordnung hinzufügen. Dieses Verfahren wird im folgenden JSON-Beispiel veranschaulicht.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

Mit dieser Definition für die Tabellenzuordnung wird die Quellsammlung in drei Segmente aufgeteilt, die parallel migriert werden. Im Folgenden sind die Segmentierungsgrenzen aufgeführt.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

Nach Abschluss der Migrationsaufgabe können Sie anhand der Aufgabenprotokolle überprüfen, ob die Tabellen parallel geladen wurden, wie im folgenden Beispiel gezeigt. Sie können auch die zum Entladen der einzelnen Segmente aus der Quelltabelle verwendete MongoDB-Klausel find überprüfen.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

AWS DMS unterstützt derzeit die folgenden MongoDB-Datentypen als Segmentschlüsselspalte:

Migration mehrerer Datenbanken bei Verwendung von MongoDB als Quelle für AWS DMS

Die AWS DMS-Versionen 3.4.5 und höher unterstützen die Migration von mehreren Datenbanken in einer einzigen Aufgabe für alle unterstützten MongoDB-Versionen. Gehen Sie wie folgt vor, um mehrere Datenbanken zu migrieren:

Sie können beispielsweise die folgende JSON-Struktur angeben, um drei MongoDB-Datenbanken zu migrieren.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

Einschränkungen bei der Verwendung von MongoDB als Quelle für AWS DMS

Die folgenden Einschränkungen gelten bei der Verwendung von MongoDB als Quelle für AWS DMS:

Einstellungen für die Endpunktkonfiguration bei Verwendung von MongoDB als Quelle für AWS DMS

Wenn Sie Ihren MongoDB-Quellendpunkt einrichten, können Sie mithilfe der AWS DMS-Konsole mehrere Einstellungen für die Endpunktkonfiguration festlegen.

In der folgenden Tabelle werden die verfügbaren Konfigurationseinstellungen bei Verwendung von MongoDB-Datenbanken als AWS DMS-Quelle beschrieben.

Wenn Sie Dokument als Metadatenmodus auswählen, sind verschiedene Optionen verfügbar.

Wenn der Zielendpunkt DocumentDB ist, führen Sie die Migration unbedingt im Dokumentmodus aus. Ändern Sie außerdem Ihren Quellendpunkt und wählen Sie die Option _id als separate Spalte aus. Dies ist eine zwingende Voraussetzung, wenn Ihr MongoDB-Quell-Workload Transaktionen beinhaltet.

Quelldatentypen für MongoDB

Eine Datenmigration, bei der MongoDB als Quelle für AWS DMS verwendet wird, unterstützt die meisten MongoDB-Datentypen. In der folgenden Tabelle sind die MongoDB-Quelldatentypen, die bei Verwendung von AWS DMS unterstützt werden, sowie deren Standardzuweisung von AWS DMS-Datentypen aufgeführt. Weitere Informationen zu MongoDB-Datentypen finden Sie unter BSON-Typen in der MongoDB-Dokumentation.

Weitere Informationen zum Anzeigen des Datentyps, der im Ziel zugewiesen ist, finden Sie im Abschnitt für den Zielendpunkt, den Sie verwenden.

Weitere Informationen zu AWS DMS-Datentypen finden Sie unter Datentypen für den AWS Database Migration Service.