Utilisation d'Amazon DocumentDB (compatible avec MongoDB) comme source pour AWS DMS

Pour en savoir plus sur les versions d’Amazon DocumentDB (compatible avec MongoDB) prises en charge par AWS DMS en tant que source, consultez Sources pour AWS DMS.

En utilisant Amazon DocumentDB en tant que source, vous pouvez migrer des données d’un cluster Amazon DocumentDB vers un autre cluster Amazon DocumentDB. Vous pouvez également migrer les données d'un cluster Amazon DocumentDB vers l'un des autres points de terminaison cibles pris en charge par. AWS DMS

Si vous utilisez Amazon DocumentDB pour la première fois, prenez connaissance des concepts importants suivants relatifs aux bases de données Amazon DocumentDB :

AWS DMS prend en charge deux modes de migration lors de l'utilisation d'Amazon DocumentDB comme source, le mode document et le mode table. Vous spécifiez le mode de migration lorsque vous créez le point de terminaison source Amazon DocumentDB dans la AWS DMS console, à l'aide de l'option Mode métadonnées ou de l'attribut de connexion supplémentaire. nestingLevel Vous trouverez ci-dessous une explication sur la manière dont le choix du mode de migration affecte le format des données cibles.

Définition des autorisations pour utiliser Amazon DocumentDB en tant que source

Lorsque vous utilisez la source Amazon DocumentDB pour une AWS DMS migration, vous pouvez créer un compte utilisateur avec des privilèges root. Vous pouvez également créer un utilisateur doté d’autorisations uniquement pour la base de données à migrer.

Le code suivant permet de créer un utilisateur en tant que compte racine.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Pour Amazon DocumentDB 3.6, le code suivant permet de créer un utilisateur doté de privilèges minimum sur la base de données à migrer.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

Pour Amazon DocumentDB 4.0 et versions ultérieures, AWS DMS utilise un flux de modifications à l'échelle du déploiement. Ici, le code suivant permet de créer un utilisateur doté de privilèges minimum.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Configuration de CDC pour un cluster Amazon DocumentDB

Pour utiliser la réplication continue ou le CDC avec Amazon DocumentDB, AWS DMS il faut accéder aux flux de modifications du cluster Amazon DocumentDB. Pour obtenir une description de la séquence chronologique des événements de mise à jour dans les collections et les bases de données de votre cluster, consultez Utilisation des flux de modifications dans le Guide du développeur Amazon DocumentDB.

Authentifiez-vous auprès de votre cluster Amazon DocumentDB à l’aide du shell MongoDB. Ensuite, exécutez la commande suivante pour activer les flux de modifications.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

Cette approche active le flux de modifications pour toutes les collections de la base de données. Une fois les flux de modifications activés, vous pouvez créer une tâche de migration qui migre les données existantes tout en répliquant les modifications en cours. AWS DMS continue de capturer et d'appliquer les modifications même après le chargement des données en masse. Les bases de données sources et cibles sont finalement synchronisées, ce qui réduit au maximum le temps d’indisponibilité d’une migration.

Connexion à Amazon DocumentDB à l’aide du protocole TLS

Par défaut, un cluster Amazon DocumentDB récemment créé n’accepte que les connexions sécurisées qui utilisent le protocole TLS (Transport Layer Security). Lorsque le protocole TLS est activé, chaque connexion à Amazon DocumentDB nécessite une clé publique.

Vous pouvez récupérer la clé publique d'Amazon DocumentDB en téléchargeant le fichier rds-combined-ca-bundle.pem depuis un AWS compartiment Amazon S3 hébergé. Pour plus d’informations sur le téléchargement de ce fichier, consultez Chiffrement des connexions à l’aide de TLS dans le Guide du développeur Amazon DocumentDB.

Après avoir téléchargé le rds-combined-ca-bundle.pem fichier, vous pouvez importer la clé publique qu'il contient AWS DMS. Les étapes suivantes expliquent comment procéder.

L'exemple AWS CLI suivant utilise la AWS DMS import-certificate commande pour importer le rds-combined-ca-bundle.pem fichier de clé publique.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Création d’un point de terminaison source Amazon DocumentDB

Vous pouvez créer un point de terminaison source Amazon DocumentDB à l’aide de la console ou d’ AWS CLI. Procédez comme suit avec la console.

Procédez comme suit avec l’interface de ligne de commande.

Segmentation des collections Amazon DocumentDB et migration en parallèle

Pour améliorer les performances d’une tâche de migration, les points de terminaison sources Amazon DocumentDB prennent en charge deux options de la fonctionnalité de chargement complet en parallèle dans le mappage de table. En d’autres termes, vous pouvez migrer une collection en parallèle en utilisant les options de segmentation automatique ou de segmentation par plage du mappage de table pour un chargement complet en parallèle dans les paramètres JSON. Les options de segmentation automatique vous permettent de spécifier les critères pour AWS DMS segmenter automatiquement votre source pour la migration dans chaque thread. Les options de segmentation de plage vous permettent de définir AWS DMS la plage spécifique de chaque segment pour que DMS migre dans chaque thread. Pour plus d’informations sur ces paramètres, consultez Règles des paramètres de table et de collection et opérations.

Migration d’une base de données Amazon DocumentDB en parallèle à l’aide de plages de segmentation automatique

Vous pouvez migrer vos documents en parallèle en spécifiant les critères AWS DMS pour partitionner (segmenter) automatiquement vos données pour chaque thread, notamment le nombre de documents à migrer par thread. En utilisant cette approche, AWS DMS tente d’optimiser les limites de segment pour augmenter les performances par thread.

Vous pouvez spécifier les critères de segmentation à l’aide des options table-settings suivantes dans table-mapping :

L’exemple suivant illustre un mappage de table pour la segmentation automatique.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentation automatique présente les limitations suivantes. Pour chaque segment, la migration extrait séparément le nombre de collections et la valeur minimale de _id pour la collection. Elle ignore ensuite un certain nombre d’enregistrements par page pour calculer la limite minimale pour ce segment. Par conséquent, assurez-vous que la valeur minimale de _id reste constante pour chaque collection, jusqu’à ce que toutes les limites de segment de la collection soient calculées. Si vous modifiez la valeur minimale de _id d’une collection lors du calcul de ses limites de segment, cela peut entraîner une perte de données ou des erreurs de lignes en double.

Migration d’une base de données Amazon DocumentDB en parallèle à l’aide de plages de segments spécifiques

L’exemple suivant illustre une collection Amazon DocumentDB composée de sept éléments, qui utilise _id comme clé primaire.

Pour diviser la collection en trois segments et la migrer en parallèle, vous pouvez ajouter des règles de mappage de table à votre tâche de migration, comme indiqué dans l’exemple JSON suivant.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

Cette définition de mappage de table divise la collection source en trois segments et la migre en parallèle. Les limites de segmentation sont les suivantes.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

Une fois la tâche de migration terminée, vous pouvez vérifier dans les journaux de tâches que les tables sont chargées en parallèle, comme indiqué dans l’exemple suivant. Vous pouvez également vérifier la clause find d’Amazon DocumentDB utilisée pour décharger chaque segment de la table source.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Actuellement, AWS DMS prend en charge les types de données Amazon DocumentDB suivants sous forme de colonne clé de segment :

Migration de plusieurs bases de données lors de l'utilisation d'Amazon DocumentDB comme source pour AWS DMS

AWS DMS les versions 3.4.5 et supérieures prennent en charge la migration de plusieurs bases de données en une seule tâche uniquement pour les versions 4.0 et supérieures d'Amazon DocumentDB. Si vous souhaitez migrer plusieurs bases de données, procédez comme suit :

Vous pouvez par exemple spécifier le code JSON suivant pour migrer trois bases de données Amazon DocumentDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Limitations liées à l'utilisation d'Amazon DocumentDB comme source pour AWS DMS

Les limites suivantes s'appliquent à l'utilisation d'Amazon DocumentDB comme source pour : AWS DMS

Utilisation des paramètres de point de terminaison avec Amazon DocumentDB en tant que source

Vous pouvez utiliser des paramètres de point de terminaison pour configurer la base de données source Amazon DocumentDB comme si vous utilisiez des attributs de connexion supplémentaires. Vous spécifiez les paramètres lorsque vous créez le point de terminaison source à l'aide de la AWS DMS console ou à l'aide de la create-endpoint commande dans le AWS CLI, avec la syntaxe --doc-db-settings '{"EndpointSetting": "value", ...}' JSON.

Les paramètres de point de terminaison que vous pouvez utiliser avec Amazon DocumentDB en tant que source sont indiqués dans le tableau suivant.

Types de données sources pour Amazon DocumentDB

Le tableau suivant répertorie présente les types de données sources Amazon DocumentDB pris en charge lors de l’utilisation de AWS DMS. Vous trouverez également le mappage par défaut à partir AWS DMS des types de données dans ce tableau. Pour plus d’informations sur les types de données, consultez BSON types dans la documentation de MongoDB.

Pour obtenir des informations sur la façon d'afficher le type de données qui est mappé dans la cible, consultez la section relative au point de terminaison cible que vous utilisez.

Pour plus d'informations sur AWS DMS les types de données, consultezTypes de données pour AWS Database Migration Service.