Uso de Amazon DocumentDB (compatible con MongoDB) como fuente para AWS DMS

Para obtener información acerca de las versiones de Amazon DocumentDB (con compatibilidad con MongoDB) que AWS DMS admite como origen, consulte Fuentes de AWS DMS.

Con Amazon DocumentDB como origen, puede migrar datos de un clúster de Amazon DocumentDB a otro clúster de Amazon DocumentDB. También puede migrar datos de un clúster de Amazon DocumentDB a uno de los otros puntos de enlace de destino compatibles con. AWS DMS

Si es la primera vez que utiliza Amazon DocumentDB, tenga en cuenta los siguientes conceptos importantes para las bases de datos de Amazon DocumentDB:

AWS DMS admite dos modos de migración cuando se utiliza Amazon DocumentDB como fuente, modo documento y modo tabla. El modo de migración se especifica al crear el punto final de origen de Amazon DocumentDB en la AWS DMS consola, mediante la opción de modo Metadata o el atributo de conexión adicional. nestingLevel Después, puede encontrar una explicación sobre cómo la elección del modo de migración afecta al formato resultante de los datos de destino.

Configuración de permisos para usar Amazon DocumentDB como origen

Al utilizar el código fuente de Amazon DocumentDB para una AWS DMS migración, puede crear una cuenta de usuario con privilegios de root. O bien, puede crear un usuario con permisos solo para la base de datos que se va a migrar.

El código siguiente crea un usuario como la cuenta raíz.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Para Amazon DocumentDB 3.6, el código siguiente crea un usuario con privilegios mínimos en la base de datos que se va a migrar.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

Para Amazon DocumentDB 4.0 y versiones posteriores, AWS DMS utiliza un flujo de cambios para toda la implementación. A continuación, el código siguiente crea un usuario con privilegios mínimos.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Configuración de CDC para un clúster de Amazon DocumentDB

Para utilizar la replicación continua o la CDC con Amazon DocumentDB, AWS DMS necesita acceso a las secuencias de cambios del clúster de Amazon DocumentDB. Para obtener una descripción de la secuencia ordenada por tiempo de los eventos de actualización en las recopilaciones y bases de datos del clúster, consulte Uso de flujos de cambios en la Guía para desarrolladores de Amazon DocumentDB.

Autentíquese en el clúster de Amazon DocumentDB mediante el shell de MongoDB. A continuación, ejecute el siguiente comando para habilitar los flujos de cambios.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

Este enfoque habilita el flujo de cambios para todas las recopilaciones de la base de datos. Una vez habilitados los flujos de cambios, puede crear una tarea de migración que migre los datos existentes y, al mismo tiempo, replique los cambios en curso. AWS DMS sigue capturando y aplicando los cambios incluso después de cargar los datos masivos. Con el tiempo, las bases de datos de origen y de destino se sincronizarán, por lo que el tiempo de inactividad de la migración será mínimo.

Conexión a Amazon DocumentDB mediante TLS

De forma predeterminada, un clúster de Amazon DocumentDB recién creado solo acepta conexiones seguras mediante la seguridad de la capa de transporte (TLS). Cuando TLS está habilitado, cada conexión a Amazon DocumentDB requiere una clave pública.

Puede recuperar la clave pública de Amazon DocumentDB descargando el archivo rds-combined-ca-bundle.pem desde un bucket AWS de Amazon S3 alojado. Para obtener más información acerca de la descarga de este archivo, consulte Cifrado de conexiones mediante TLS en la Guía para desarrolladores de Amazon DocumentDB.

Tras descargar el rds-combined-ca-bundle.pem archivo, puede importar la clave pública que contiene. AWS DMS En los pasos siguientes, se describe cómo hacerlo así.

AWS CLI En el siguiente ejemplo, se utiliza el AWS DMS import-certificate comando para importar el rds-combined-ca-bundle.pem archivo de clave pública.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Creación de un punto de conexión de origen de Amazon DocumentDB

Puede crear un punto de conexión de origen de Amazon DocumentDB mediante la consola o la AWS CLI. Utilice el siguiente procedimiento con la consola.

Utilice el procedimiento siguiente con la CLI.

Segmentación de recopilaciones de Amazon DocumentDB y migración en paralelo

Para mejorar el rendimiento de una tarea de migración, los puntos de conexión de origen de Amazon DocumentDB admiten dos opciones de la característica de carga completa paralela en la asignación de tablas. En otras palabras, puede migrar una recopilación en paralelo mediante las opciones de segmentación automática o de segmentación por rango de la asignación de tablas para una carga completa paralela en la configuración de JSON. Las opciones de segmentación automática le permiten especificar los criterios para segmentar automáticamente la fuente AWS DMS para la migración en cada subproceso. Las opciones de segmentación por rango permiten indicar AWS DMS el rango específico de cada segmento para que el DMS migre en cada subproceso. Para obtener más información sobre estas configuraciones, consulte Reglas y operaciones de configuración de tablas y recopilaciones.

Migración de una base de datos de Amazon DocumentDB en paralelo mediante rangos de segmentación automática

Puede migrar sus documentos en paralelo especificando los criterios para AWS DMS particionar (segmentar) automáticamente los datos de cada subproceso, especialmente el número de documentos que se van a migrar por subproceso. Con este enfoque, AWS DMS intenta optimizar los límites de los segmentos para obtener el máximo rendimiento por subproceso.

Puede especificar los criterios de segmentación mediante las siguientes opciones de configuración de tablas en la asignación de tablas:

En el siguiente ejemplo, se muestra una tabla de asignación para la segmentación automática.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentación automática tiene la siguiente limitación. La migración de cada segmento obtiene el recuento de la recopilación y el _id mínimo para la recopilación de forma individual. A continuación, utiliza un salto paginado para calcular el límite mínimo de ese segmento. Por lo tanto, asegúrese de que el valor de _id mínimo de cada recopilación permanezca constante hasta que se calculen todos los límites de los segmentos de la recopilación. Si cambia el valor de _id mínimo de una recopilación durante el cálculo del límite del segmento, esto podría provocar la pérdida de datos o errores en las filas duplicadas.

Migración de una base de datos de Amazon DocumentDB en paralelo mediante rangos de segmentos específicos

El siguiente ejemplo muestra una recopilación de Amazon DocumentDB que tiene siete elementos y _id como la clave principal.

Para dividir la recopilación en tres segmentos y migrar en paralelo, puede agregar reglas de asignación de tablas a la tarea de migración, como se muestra en el siguiente ejemplo de JSON.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

Esa definición de asignación de tablas divide la recopilación de orígenes en tres segmentos y migra en paralelo. A continuación, se muestran límites de segmentación.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

Una vez finalizada la tarea de migración, puede comprobar en los registros de tareas que las tablas se han cargado en paralelo, como se muestra en el siguiente ejemplo. También puede comprobar la cláusula find de Amazon DocumentDB utilizada para descargar cada segmento de la tabla de origen.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Actualmente, AWS DMS admite los siguientes tipos de datos de Amazon DocumentDB como columna de clave de segmento:

Migración de varias bases de datos cuando se utiliza Amazon DocumentDB como fuente de AWS DMS

AWS DMS las versiones 3.4.5 y superiores admiten la migración de varias bases de datos en una sola tarea solo para las versiones 4.0 y posteriores de Amazon DocumentDB. Si desea migrar varias bases de datos, haga lo siguiente:

Por ejemplo, es posible que especifique el siguiente JSON para migrar tres bases de datos de Amazon DocumentDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Limitaciones del uso de Amazon DocumentDB como fuente para AWS DMS

Las siguientes son limitaciones a la hora de utilizar Amazon DocumentDB como fuente para: AWS DMS

Uso de la configuración de puntos de conexión con Amazon DocumentDB como origen

Puede utilizar la configuración de punto de conexión para configurar la base de datos de origen de Amazon DocumentDB de forma similar al uso de atributos de conexión adicionales. Los ajustes se especifican al crear el punto final de origen mediante la AWS DMS consola o mediante el create-endpoint comando de AWS CLI, con la sintaxis --doc-db-settings '{"EndpointSetting": "value", ...}' JSON.

La siguiente tabla muestra la configuración de punto de conexión que puede utilizar con Amazon DocumentDB como origen.

Tipos de datos de origen de Amazon DocumentDB

En la siguiente tabla, podrá encontrar los tipos de datos de origen de Amazon DocumentDB que se admiten cuando se utiliza AWS DMS. También puede encontrar el mapeo predeterminado a partir de AWS DMS los tipos de datos en esta tabla. Para obtener más información sobre tipos de datos, consulte Tipos de BSON en la documentación de MongoDB.

Para obtener más información sobre cómo ver el tipo de datos que se asigna en el destino, consulte la sección del punto de enlace de destino que esté utilizando.

Para obtener información adicional sobre AWS DMS los tipos de datos, consulteTipos de datos de AWS Database Migration Service.