Uso de MongoDB como fuente para AWS DMS

Para obtener información sobre las versiones de MongoDB AWS DMS que son compatibles como fuente, consulte. Fuentes de AWS DMS

Tenga en cuenta lo siguiente sobre la compatibilidad de versiones de MongoDB:

Si no está familiarizado con MongoDB, tenga en cuenta los siguientes conceptos importantes sobre las bases de datos MongoDB:

AWS DMS admite dos modos de migración cuando se usa MongoDB como fuente, modo documento o modo tabla. Se especifica qué modo de migración usar al crear el punto de conexión de MongoDB o al configurar el parámetro del Modo metadatos desde la consola de AWS DMS . Otra opción, puede crear una segunda columna con un nombre _id que actúe como clave principal. Para ello, seleccione el botón de verificación de _id como columna independiente en el panel de configuración del punto de conexión.

La selección del modo de migración afecta al formato resultante de los datos de destino, como se indica a continuación.

Permisos necesarios cuando se utiliza MongoDB como fuente para AWS DMS

Para una AWS DMS migración con una fuente de MongoDB, puede crear una cuenta de usuario con privilegios de root o un usuario con permisos únicamente en la base de datos para migrar.

El código siguiente crear un usuario para que sea la cuenta raíz.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

Para un origen de MongoDB 3.x, el código siguiente crea un usuario con privilegios mínimos en la base de datos que se va a migrar.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

Para un origen de MongoDB 4.x, el siguiente código crea un usuario con privilegios mínimos.

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

Por ejemplo, cree el siguiente rol en la base de datos “admin”.

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

Y una vez creado el rol, cree un usuario en la base de datos que se va a migrar.

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

Configuración de un conjunto de réplicas de MongoDB para CDC

Para utilizar la replicación continua o la CDC con MongoDB AWS DMS , se requiere acceso al registro de operaciones de MongoDB (oplog). Para crear dicho log, debe implementar un conjunto de réplicas si no existe ninguno. Para obtener más información, consulte la documentación de MongoDB.

Puede utilizar CDC con el nodo principal o secundario de un conjunto de réplicas de MongoDB como punto de enlace de origen.

Si tiene previsto realizar una migración con el modo documento, seleccione la opción _id as a separate column al crear el punto de enlace de MongoDB. Si se selecciona esta opción, se crea otra columna denominada _id, que actúa como clave principal. Esta segunda columna es necesaria AWS DMS para admitir las operaciones con el lenguaje de manipulación de datos (DML).

Requisitos de seguridad al utilizar MongoDB como fuente de AWS DMS

AWS El DMS admite dos métodos de autenticación para MongoDB. Los dos métodos de autenticación se utilizan para cifrar la contraseña, de forma que solo se pueda utilizar cuando el parámetro authType se haya establecido en PASSWORD (CONTRASEÑA).

Los métodos de autenticación de MongoDB son los siguientes:

Si no se especifica un método de autenticación, AWS DMS utiliza el método predeterminado para la versión de la fuente de MongoDB.

Segmentación de recopilaciones y migración en paralelo de MongoDB

Para mejorar el rendimiento de una tarea de migración, los puntos de conexión de origen de MongoDB admiten dos opciones de carga completa paralela en la asignación de tablas.

En otras palabras, puede migrar una recopilación en paralelo mediante la segmentación automática o de segmentación por rango de la asignación de tablas para una carga completa paralela en la configuración de JSON. Con la segmentación automática, puede especificar los criterios para segmentar automáticamente la fuente AWS DMS para la migración en cada subproceso. Con la segmentación por rangos, puede determinar AWS DMS el rango específico de cada segmento para que DMS migre en cada subproceso. Para obtener más información sobre estas configuraciones, consulte Reglas y operaciones de configuración de tablas y recopilaciones.

Migración de una base de datos de MongoDB en paralelo mediante rangos de segmentación automática

Puede migrar los documentos en paralelo especificando los criterios para que AWS DMS particione (segmentar) automáticamente los datos de cada subproceso. En concreto, se especifica el número de documentos que se van a migrar por subproceso. Con este enfoque, AWS DMS intenta optimizar los límites de los segmentos para obtener el máximo rendimiento por hilo.

Puede especificar los criterios de segmentación mediante las siguientes opciones de configuración de tabla en la asignación de tablas.

En el siguiente ejemplo, se muestra una tabla de asignación para la segmentación automática.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentación automática tiene la siguiente limitación. La migración de cada segmento obtiene el recuento de la recopilación y el _id mínimo para la recopilación de forma individual. A continuación, utiliza un salto paginado para calcular el límite mínimo de ese segmento.

Por lo tanto, asegúrese de que el valor de _id mínimo de cada recopilación permanezca constante hasta que se calculen todos los límites de los segmentos de la recopilación. Si cambia el valor de _id mínimo de una recopilación durante el cálculo del límite del segmento, puede provocar la pérdida de datos o errores en las filas duplicadas.

Migración de una base de datos de MongoDB en paralelo mediante la segmentación por rango

Puede migrar los documentos en paralelo especificando los rangos de cada segmento de un subproceso. Con este enfoque, usted indica AWS DMS los documentos específicos que se deben migrar en cada hilo de acuerdo con los rangos de documentos que haya elegido por hilo.

La siguiente imagen muestra una recopilación de MongoDB que tiene siete elementos y _id como la clave principal.

Para dividir la colección en tres segmentos específicos para AWS DMS migrar en paralelo, puede añadir reglas de mapeo de tablas a su tarea de migración. Este enfoque se muestra en el siguiente ejemplo de JSON.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

Esa definición de asignación de tablas divide la recopilación de orígenes en tres segmentos y migra en paralelo. A continuación, se muestran límites de segmentación.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

Una vez finalizada la tarea de migración, puede comprobar en los registros de tareas que las tablas se han cargado en paralelo, como se muestra en el siguiente ejemplo. También puede comprobar la cláusula find de MongoDB utilizada para descargar cada segmento de la tabla de origen.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Actualmente, AWS DMS admite los siguientes tipos de datos de MongoDB como columna de clave de segmento:

Migración de varias bases de datos cuando se usa MongoDB como fuente de AWS DMS

AWS DMS las versiones 3.4.5 y superiores admiten la migración de varias bases de datos en una sola tarea para todas las versiones de MongoDB compatibles. Si desea migrar varias bases de datos, realice estos pasos:

Por ejemplo, es posible que especifique el siguiente JSON para migrar tres bases de datos de MongoDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

Limitaciones al usar MongoDB como fuente de AWS DMS

Las siguientes son limitaciones al usar MongoDB como fuente para: AWS DMS

Ajustes de configuración del punto final cuando se utiliza MongoDB como fuente para AWS DMS

Al configurar el punto final de origen de MongoDB, puede especificar varios ajustes de configuración del punto final mediante la consola. AWS DMS

La siguiente tabla describe los ajustes de configuración disponibles cuando se utilizan bases de datos MongoDB como fuente. AWS DMS

Si elige Documento como modo de metadatos, hay diferentes opciones disponibles.

Si el punto de conexión de destino es DocumentDB, asegúrese de ejecutar la migración en modo mocumento. Además, modifique el punto de conexión de origen y seleccione la opción _id como columna independiente. Este es un requisito previo obligatorio si la carga de trabajo de MongoDB de origen incluye transacciones.

Tipos de datos de origen para MongoDB

La migración de datos que utiliza MongoDB como fuente es AWS DMS compatible con la mayoría de los tipos de datos de MongoDB. En la siguiente tabla, puede encontrar los tipos de datos de origen de MongoDB que se admiten cuando se AWS DMS utiliza y el mapeo AWS DMS predeterminado a partir de los tipos de datos. Para obtener más información sobre los tipos de datos de MongoDB, consulte BSON types en la documentación de MongoDB.

Para obtener más información sobre cómo ver el tipo de datos que se asigna en el destino, consulte la sección del punto de enlace de destino que esté utilizando.

Para obtener información adicional sobre AWS DMS los tipos de datos, consulte. Tipos de datos de AWS Database Migration Service