Usando o Amazon DocumentDB (com compatibilidade com o MongoDB) como fonte para AWS DMS

Para obter informações sobre as versões do Amazon DocumentDB (compatível com MongoDB) que são compatíveis com o AWS DMS como origem, consulte Fontes para AWS DMS.

Utilizando o Amazon DocumentDB como origem, é possível migrar dados de um cluster do Amazon DocumentDB para outro cluster do Amazon DocumentDB. Você também pode migrar dados de um cluster do Amazon DocumentDB para um dos outros endpoints de destino suportados pelo. AWS DMS

Se não estiver familiarizado com o Amazon DocumentDB, fique ciente dos seguintes conceitos importantes de bancos de dados do Amazon DocumentDB:

AWS DMS suporta dois modos de migração ao usar o Amazon DocumentDB como fonte, modo de documento e modo de tabela. Você especifica o modo de migração ao criar o endpoint de origem do Amazon DocumentDB no AWS DMS console, usando a opção do modo de metadados ou o atributo de conexão extra. nestingLevel Veja a seguir uma explicação de como a opção do modo de migração afeta o formato resultante dos dados de destino.

Definir permissões para utilizar o Amazon DocumentDB como origem

Ao usar a fonte do Amazon DocumentDB para uma AWS DMS migração, você pode criar uma conta de usuário com privilégios de root. Ou é possível criar um usuário com permissões somente para o banco de dados a ser migrado.

O código a seguir cria um usuário para ser a conta raiz.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Para o Amazon DocumentDB 3.6, o código a seguir cria um usuário com privilégios mínimos no banco de dados a ser migrado.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

Para o Amazon DocumentDB 4.0 e superior, AWS DMS usa um fluxo de alterações em toda a implantação. Aqui, o código a seguir cria um usuário com privilégios mínimos.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Configurar a CDC para um cluster do Amazon DocumentDB

Para usar a replicação contínua ou o CDC com o Amazon DocumentDB AWS DMS , é necessário acesso aos fluxos de alterações do cluster Amazon DocumentDB. Para obter uma descrição da sequência ordenada por tempo dos eventos de atualização nas coleções e bancos de dados do cluster, consulte Como utilizar fluxos de alterações no Guia do desenvolvedor do Amazon DocumentDB.

Autentique-se no cluster do Amazon DocumentDB utilizando o shell do MongoDB. Execute o comando a seguir para ativar os fluxos de alterações.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

Essa abordagem ativa o fluxo de alterações para todas as coleções no banco de dados. Depois que os fluxos de alterações forem habilitados, você poderá criar uma tarefa de migração que migre os dados existentes e, ao mesmo tempo, replique as alterações em andamento. AWS DMS continua capturando e aplicando alterações mesmo após o carregamento dos dados em massa. Por fim, os bancos de dados de origem e de destino ficarão sincronizados, minimizando o tempo de inatividade de uma migração.

Conectar-se ao Amazon DocumentDB utilizando TLS

Por padrão, um cluster recém-criado do Amazon DocumentDB aceita conexões seguras somente quando o Transport Layer Security (TLS) é utilizado. Quando o TLS está ativado, cada conexão ao Amazon DocumentDB requer uma chave pública.

Você pode recuperar a chave pública para o Amazon DocumentDB baixando o rds-combined-ca-bundle.pem arquivo de AWS um bucket do Amazon S3 hospedado. Para obter mais informações sobre como baixar esse arquivo, consulte Criptografar conexões utilizando TLS no Guia do desenvolvedor do Amazon DocumentDB.

Depois de baixar o rds-combined-ca-bundle.pem arquivo, você pode importar a chave pública que ele contém AWS DMS. As etapas a seguir descrevem como fazer isso.

O exemplo a AWS CLI seguir usa o AWS DMS import-certificate comando para importar o rds-combined-ca-bundle.pem arquivo de chave pública.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Criar um endpoint de origem do Amazon DocumentDB

É possível criar um endpoint de origem do Amazon DocumentDB utilizando o console ou a AWS CLI. Utilize o procedimento a seguir com o console.

Utilize o procedimento a seguir com a CLI.

Segmentar as coleções do Amazon DocumentDB e migrar em paralelo

Para melhorar o desempenho de uma tarefa de migração, os endpoints de origem do Amazon DocumentDB são compatíveis com duas opções do recurso de carga máxima paralela no mapeamento de tabela. Em outras palavras, é possível migrar uma coleção em paralelo utilizando as opções de segmentação automática ou de segmentação de intervalo do mapeamento de tabela para uma carga máxima paralela nas configurações de JSON. As opções de segmentação automática permitem que você especifique os critérios AWS DMS para segmentar automaticamente sua fonte para migração em cada thread. As opções de segmentação de intervalo permitem que você informe AWS DMS o intervalo específico de cada segmento para o DMS migrar em cada thread. Para obter mais informações sobre essas configurações, consulte Regras e operações de configurações de tabelas e coleções.

Migrar um banco de dados Amazon DocumentDB em paralelo utilizando intervalos de segmentação automática

Você pode migrar seus documentos em paralelo especificando os critérios AWS DMS para particionar (segmentar) automaticamente seus dados para cada thread, especialmente o número de documentos a serem migrados por thread. Ao utilizar essa abordagem, o AWS DMS tenta otimizar os limites do segmento para obter o máximo desempenho por thread.

É possível especificar os critérios de segmentação utilizando as opções de configurações de tabela a seguir no mapeamento de tabela:

O exemplo a seguir mostra um mapeamento de tabela para segmentação automática.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

A segmentação automática tem a seguinte limitação. A migração de cada segmento busca a contagem da coleção e o _id mínimo da coleção separadamente. Ela utiliza um salto paginado para calcular o limite mínimo desse segmento. Portanto, verifique se o valor mínimo de _id de cada coleção permanece constante até que todos os limites do segmento na coleção tenham sido calculados. Se você alterar o valor de _id mínimo de uma coleção durante o cálculo do limite do segmento, isso poderá causar perda de dados ou erros de linha duplicada.

Migrar um banco de dados Amazon DocumentDB em paralelo utilizando intervalos de segmentos específicos

O exemplo a seguir mostra uma coleção do Amazon DocumentDB que tem sete itens e _id como chave primária.

Para dividir a coleção em três segmentos e migrar paralelamente, é possível adicionar regras de mapeamento de tabela à tarefa de migração, conforme mostrado no exemplo de JSON a seguir.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

Essa definição de mapeamento de tabela divide a coleção de origem em três segmentos e migra em paralelo. Veja a seguir os limites de segmentação.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

Depois que a tarefa de migração for concluída, é possível verificar os logs de tarefas para saber se as tabelas foram carregadas em paralelo, conforme mostrado no exemplo a seguir. Também é possível verificar a cláusula find do Amazon DocumentDB utilizada para descarregar cada segmento da tabela de origem.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Atualmente, AWS DMS oferece suporte aos seguintes tipos de dados do Amazon DocumentDB como uma coluna de chave de segmento:

Migração de vários bancos de dados ao usar o Amazon DocumentDB como fonte para AWS DMS

AWS DMS as versões 3.4.5 e superiores oferecem suporte à migração de vários bancos de dados em uma única tarefa somente para as versões 4.0 e superiores do Amazon DocumentDB. Para migrar vários bancos de dados, faça o seguinte:

Por exemplo, é possível especificar o JSON a seguir para migrar três bancos de dados do Amazon DocumentDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Limitações ao usar o Amazon DocumentDB como fonte para AWS DMS

A seguir estão as limitações ao usar o Amazon DocumentDB como fonte para: AWS DMS

Utilizar configurações de endpoint com o Amazon DocumentDB como origem

É possível utilizar as configurações de endpoint para configurar o banco de dados Amazon DocumentDB como destino de forma semelhante à utilização de atributos de conexão adicional. Você especifica as configurações ao criar o endpoint de origem usando o AWS DMS console ou usando o create-endpoint comando no AWS CLI, com a sintaxe --doc-db-settings '{"EndpointSetting": "value", ...}' JSON.

A tabela a seguir mostra as configurações de endpoint que podem ser utilizadas com o Amazon DocumentDB como origem.

Tipos de dados de origem do Amazon DocumentDB

Na tabela a seguir, é possível encontrar os tipos de dados de origem do Amazon DocumentDB que são compatíveis ao utilizar o AWS DMS. Você também pode encontrar o mapeamento padrão dos tipos de AWS DMS dados nesta tabela. Para obter mais informações sobre os tipos de dados, consulte Tipos BSON na documentação do MongoDB.

Para obter informações sobre como exibir o tipo de dados mapeado no destino, consulte a seção relativa ao endpoint de destino que está usando.

Para obter informações adicionais sobre AWS DMS os tipos de dados, consulteTipos de dados do AWS Database Migration Service.