Verwendung von Amazon DocumentDB (mit MongoDB-Kompatibilität) als Quelle für AWS DMS

Informationen zu den Versionen von Amazon DocumentDB (mit MongoDB-Kompatibilität), die AWS DMS als Quelle unterstützt, finden Sie unter Quellen für AWS DMS.

Wenn Sie Amazon DocumentDB als Quelle verwenden, können Sie Daten von einem Amazon-DocumentDB-Cluster zu einem anderen migrieren. Sie können auch Daten von einem Amazon DocumentDB-Cluster zu einem der anderen Zielendpunkte migrieren, die von unterstützt werden. AWS DMS

Wenn Sie noch keine Erfahrung mit Amazon DocumentDB haben, sollten Sie die folgenden wichtigen Konzepte für Amazon-DocumentDB-Datenbanken beachten:

AWS DMS unterstützt zwei Migrationsmodi, wenn Amazon DocumentDB als Quelle verwendet wird: den Dokumentmodus und den Tabellenmodus. Sie geben den Migrationsmodus an, wenn Sie den Amazon DocumentDB DocumentDB-Quellendpunkt in der AWS DMS Konsole erstellen, indem Sie entweder die Option Metadatenmodus oder das zusätzliche Verbindungsattribut nestingLevel verwenden. Im Folgenden wird erläutert, wie sich der ausgewählte Migrationsmodus auf das resultierende Format der Zieldaten auswirkt.

Festlegen von Berechtigungen zur Verwendung von Amazon DocumentDB als Quelle

Wenn Sie die Amazon DocumentDB DocumentDB-Quelle für eine AWS DMS Migration verwenden, können Sie ein Benutzerkonto mit Root-Rechten erstellen. Alternativ können Sie einen Benutzer erstellen, der ausschließlich über Berechtigungen für die zu migrierende Datenbank verfügt.

Mit dem folgenden Code wird ein Benutzer als Root-Konto erstellt.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Für Amazon DocumentDB 3.6 wird mit dem folgenden Code ein Benutzer mit minimalen Berechtigungen für die zu migrierende Datenbank erstellt.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

AWS DMS Verwendet für Amazon DocumentDB 4.0 und höher einen bereitstellungsweiten Change-Stream. Hier wird mit dem folgenden Code ein Benutzer mit minimalen Berechtigungen erstellt.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Konfigurieren von CDC für einen Amazon-DocumentDB-Cluster

Um die fortlaufende Replikation oder CDC mit Amazon DocumentDB zu verwenden, ist Zugriff auf die Change-Streams des Amazon DocumentDB-Clusters AWS DMS erforderlich. Eine Beschreibung der zeitlich geordneten Reihenfolge von Aktualisierungsereignissen in den Sammlungen und Datenbanken Ihres Clusters finden Sie unter Using Change Streams im Entwicklerhandbuch für Amazon DocumentDB.

Authentifizieren Sie sich mit der MongoDB-Shell bei Ihrem Amazon-DocumentDB-Cluster. Führen Sie anschließend den folgenden Befehl aus, um Änderungsstreams zu aktivieren.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

Damit wird der Änderungsstream für alle Sammlungen in Ihrer Datenbank aktiviert. Nachdem Change-Streams aktiviert wurden, können Sie eine Migrationsaufgabe erstellen, die bestehende Daten migriert und gleichzeitig laufende Änderungen repliziert. AWS DMS erfasst weiterhin Änderungen und wendet sie an, auch nachdem die Massendaten geladen wurden. Schließlich werden die Quell- und Zieldatenbank synchronisiert, sodass die Ausfallzeit für eine Migration minimiert wird.

Herstellen einer Verbindung mit Amazon DocumentDB über TLS

Standardmäßig akzeptiert ein neu erstellter Amazon-DocumentDB-Cluster sichere Verbindungen nur mit Transport Layer Security (TLS). Wenn TLS aktiviert ist, erfordert jede Verbindung mit Amazon DocumentDB einen öffentlichen Schlüssel.

Sie können den öffentlichen Schlüssel für Amazon DocumentDB abrufen, indem Sie die Datei rds-combined-ca-bundle.pem aus einem AWS-gehosteten Amazon S3 S3-Bucket herunterladen. Weitere Informationen zum Herunterladen dieser Datei finden Sie unter Encrypting connections using TLS im Entwicklerhandbuch für Amazon DocumentDB.

Nachdem Sie die rds-combined-ca-bundle.pem Datei heruntergeladen haben, können Sie den darin enthaltenen öffentlichen Schlüssel importieren. AWS DMS Das entsprechende Verfahren wird im Folgenden beschrieben.

Im AWS CLI folgenden Beispiel wird der AWS DMS import-certificate Befehl verwendet, um die rds-combined-ca-bundle.pem Datei mit dem öffentlichen Schlüssel zu importieren.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Erstellen eines Amazon-DocumentDB-Quellendpunkts

Sie können einen Amazon-DocumentDB-Quellendpunkt mithilfe der Konsole oder der AWS CLI erstellen. Gehen Sie bei Verwendung der Konsole folgendermaßen vor.

Gehen Sie bei Verwendung der CLI folgendermaßen vor.

Segmentieren von Amazon-DocumentDB-Sammlungen und parallele Migration

Um die Leistung einer Migrationsaufgabe zu verbessern, unterstützen Amazon-DocumentDB-Quellendpunkte zwei Optionen des Features für paralleles vollständiges Laden bei der Tabellenzuordnung. Anders ausgedrückt: Sie können eine Sammlung parallel migrieren, indem Sie entweder die Optionen für die automatische Segmentierung oder für die Bereichssegmentierung der Tabellenzuordnung für paralleles vollständiges Laden in den JSON-Einstellungen verwenden. Mit den Optionen für die automatische Segmentierung können Sie die Kriterien für AWS DMS die automatische Segmentierung Ihrer Quelle für die Migration in jedem Thread angeben. Mit den Optionen für die Bereichssegmentierung können Sie AWS DMS den spezifischen Bereich jedes Segments angeben, das DMS in jedem Thread migrieren soll. Weitere Informationen zu diesen Einstellungen finden Sie unter Regeln und Operationen für Tabellen- und Sammlungseinstellungen.

Parallele Migration einer Amazon-DocumentDB-Datenbank mithilfe von Bereichen für die automatische Segmentierung

Sie können Ihre Dokumente parallel migrieren, indem Sie die Kriterien für AWS DMS die automatische Partitionierung (Segmentierung) Ihrer Daten für jeden Thread angeben, insbesondere die Anzahl der Dokumente, die pro Thread migriert werden sollen. Bei diesem Verfahren versucht AWS DMS , die Segmentgrenzen zu optimieren, um eine maximale Leistung pro Thread zu erzielen.

Sie können die Segmentierungskriterien mithilfe der folgenden Tabelleneinstellungsoptionen in der Tabellenzuordnung angeben:

Das folgende Beispiel zeigt eine Tabellenzuordnung für die automatische Segmentierung.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

Für die automatische Segmentierung gelten die folgenden Einschränkungen. Bei der Migration für die einzelnen Segmente werden die Sammlungsanzahl und der _id-Mindestwert für die Sammlung separat abgerufen. Anschließend wird die Mindestgrenze für dieses Segment anhand eines seitenweisen Überspringens berechnet. Stellen Sie daher sicher, dass der _id-Mindestwert für jede Sammlung konstant bleibt, bis alle Segmentgrenzen in der Sammlung berechnet wurden. Wenn Sie den _id-Mindestwert für eine Sammlung während der Berechnung der Segmentgrenze ändern, kann dies zu Datenverlust oder zu Fehlern aufgrund von doppelten Zeilen führen.

Parallele Migration einer Amazon-DocumentDB-Datenbank mithilfe von spezifischen Segmentbereichen

Das folgende Beispiel zeigt eine Amazon-DocumentDB-Sammlung mit sieben Elementen und _id als Primärschlüssel.

Um die Sammlung in drei Segmente aufzuteilen und parallel zu migrieren, können Sie Ihrer Migrationsaufgabe Regeln für die Tabellenzuordnung hinzufügen, wie im folgenden JSON-Beispiel gezeigt.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

Mit dieser Definition für die Tabellenzuordnung wird die Quellsammlung in drei Segmente aufgeteilt, die parallel migriert werden. Im Folgenden sind die Segmentierungsgrenzen aufgeführt.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

Nach Abschluss der Migrationsaufgabe können Sie anhand der Aufgabenprotokolle überprüfen, ob die Tabellen parallel geladen wurden, wie im folgenden Beispiel gezeigt. Sie können auch die zum Entladen der einzelnen Segmente aus der Quelltabelle verwendete Amazon-DocumentDB-Klausel find überprüfen.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

AWS DMS Unterstützt derzeit die folgenden Amazon DocumentDB DocumentDB-Datentypen als Segmentschlüsselspalte:

Migration mehrerer Datenbanken bei Verwendung von Amazon DocumentDB als Quelle für AWS DMS

AWS DMS Versionen 3.4.5 und höher unterstützen die Migration mehrerer Datenbanken in einer einzigen Aufgabe nur für Amazon DocumentDB DocumentDB-Versionen 4.0 und höher. Gehen Sie folgendermaßen vor, um mehrere Datenbanken zu migrieren:

Sie können beispielsweise die folgende JSON-Struktur angeben, um drei Amazon-DocumentDB-Datenbanken zu migrieren.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Einschränkungen bei der Verwendung von Amazon DocumentDB als Quelle für AWS DMS

Die folgenden Einschränkungen gelten bei der Verwendung von Amazon DocumentDB als Quelle für AWS DMS:

Verwenden von Endpunkteinstellungen mit Amazon DocumentDB als Quelle

Sie können Endpunkteinstellungen, ähnlich wie zusätzliche Verbindungsattribute, zum Konfigurieren Ihrer Amazon-DocumentDB-Quelldatenbank verwenden. Sie geben die Einstellungen an, wenn Sie den Quellendpunkt mithilfe der AWS DMS Konsole oder mithilfe des create-endpoint Befehls in AWS CLI, mit der --doc-db-settings '{"EndpointSetting": "value", ...}' JSON-Syntax erstellen.

Die folgende Tabelle zeigt die Endpunkteinstellungen, die Sie mit Amazon DocumentDB als Quelle verwenden können.

Quelldatentypen für Amazon DocumentDB

Die folgende Tabelle enthält die Amazon-DocumentDB-Quelldatentypen, die bei Verwendung von AWS DMS unterstützt werden. In dieser Tabelle finden Sie auch die Standardzuordnungen von AWS DMS Datentypen. Weitere Informationen zu den Datentypen finden Sie unter BSON types in der Dokumentation zu MongoDB.

Weitere Informationen zum Anzeigen des Datentyps, der im Ziel zugewiesen ist, finden Sie im Abschnitt für den Zielendpunkt, den Sie verwenden.

Weitere Informationen zu AWS DMS Datentypen finden Sie unterDatentypen für den AWS Database Migration Service.