Atualizando seu cluster Amazon DocumentDB usando AWS Database Migration Service

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Você pode atualizar seu cluster Amazon DocumentDB para uma versão superior com o mínimo de tempo de inatividade usando. AWS DMS AWS DMS é um serviço totalmente gerenciado que facilita a migração de versões mais antigas do Amazon DocumentDB, bancos de dados relacionais e bancos de dados não relacionais para seu cluster de destino do Amazon DocumentDB.

Etapa 1: ativar fluxos de alterações

Para realizar uma migração com o mínimo de tempo de inatividade, é AWS DMS necessário acesso aos fluxos de alteração do cluster. Os fluxos de alterações do Amazon DocumentDB fornecem uma sequência ordenada pelo tempo dos eventos atualizados que ocorrem dentro das coleções e bancos de dados do seu cluster. A leitura do stream de alterações permite realizar AWS DMS a captura de dados de alteração (CDC) e aplicar atualizações incrementais ao cluster Amazon DocumentDB de destino.

Para habilitar fluxos de alteração para todas as coleções em um banco de dados específico, autentique-se em seu cluster Amazon DocumentDB usando o shell mongo e execute os seguintes comandos:

db.adminCommand({modifyChangeStreams: 1,
    database: "db_name",
    collection: "", 
    enable: true});

Etapa 2: modificar a duração da retenção dos fluxos de alterações

Em seguida, modifique o período de retenção do fluxo de alterações com base em quanto tempo você gostaria de manter os eventos de alteração no fluxo de alterações. Por exemplo, se você espera que a migração do cluster do Amazon DocumentDB leve 12 horas, você deve definir a retenção do fluxo de alterações para um valor maior que 12 horas. AWS DMS O período de retenção padrão para o cluster do Amazon DocumentDB é de três horas. Você pode modificar a duração da retenção do log do stream de alterações do seu cluster Amazon DocumentDB para que fique entre uma hora e sete dias usando o AWS Management Console ou o. AWS CLI Para obter mais detalhes, consulte Modificar a duração da retenção do log do fluxo de alterações.

Etapa 3: migrar seus índices

Crie os mesmos índices em seu cluster Amazon DocumentDB de destino que você tem em seu cluster Amazon DocumentDB de origem. Embora AWS DMS gerencie a migração de dados, ele não migra índices. Para migrar os índices, use a ferramenta de índice do Amazon DocumentDB para exportar índices do cluster de origem do Amazon DocumentDB. Você pode obter a ferramenta criando um clone do repositório de GitHub ferramentas do Amazon DocumentDB e seguindo as instruções em. README.md Você pode executar a ferramenta a partir de uma EC2 instância da Amazon ou de um AWS Cloud9 ambiente em execução na mesma Amazon VPC do seu cluster Amazon DocumentDB.

No exemplo a seguir, substitua cada user input placeholder por suas próprias informações.

O código a seguir despeja índices do seu cluster Amazon DocumentDB de origem:

python migrationtools/documentdb_index_tool.py --dump-indexes
--uri mongodb://sample-user:user-password@sample-source-cluster.node.us-east 1.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=global-bundle.pem&replicaSet=rs0&readPreference=secondaryPreferred&retryWrites=false'
--dir ~/index.js/ 

2020-02-11 21:51:23,245: Successfully authenticated to database: admin2020-02-11 21:46:50,432: Successfully connected to instance docdb-40-xx.cluster-xxxxxxxx.us-east-1.docdb.amazonaws.com:27017
2020-02-11 21:46:50,432: Retrieving indexes from server...2020-02-11 21:46:50,440: Completed writing index metadata to local folder: /home/ec2-user/index.js/

Depois que seus índices forem exportados com sucesso, restaure esses índices em seu cluster Amazon DocumentDB de destino. Para restaurar os índices que você exportou na etapa anterior, use a ferramenta de índice Amazon DocumentDB. O comando a seguir restaura os índices em seu cluster Amazon DocumentDB de destino a partir do diretório especificado.

python migrationtools/documentdb_index_tool.py --restore-indexes
--uri mongodb://sample-user:user-password@sample-destination-cluster.node.us-east 1.docdb.amazonaws.com:27017/?tls=true&tlsCAFile=global-bundle.pem&replicaSet=rs0&readPreference=secondaryPreferred&retryWrites=false'
--dir ~/index.js/ 

2020-02-11 21:51:23,245: Successfully authenticated to database: admin2020-02-11 21:51:23,245: Successfully connected to instance docdb-50-xx.cluster-xxxxxxxx.us-east-1.docdb.amazonaws.com:27017
2020-02-11 21:51:23,264: testdb.coll: added index: _id

Para confirmar que você restaurou os índices corretamente, conecte-se ao seu cluster Amazon DocumentDB de destino com o shell mongo e liste os índices de uma determinada coleção. Use o seguinte código:

mongo --ssl 
--host docdb-xx-xx.cluster-xxxxxxxx.us-east-1.docdb.amazonaws.com:27017
--sslCAFile rds-ca-2019-root.pem --username documentdb --password documentdb

db.coll.getIndexes()

Etapa 4: criar uma instância de AWS DMS replicação

Uma instância AWS DMS de replicação conecta e lê dados do seu cluster Amazon DocumentDB de origem e os grava no cluster Amazon DocumentDB de destino. A instância AWS DMS de replicação pode realizar operações de carga em massa e CDC. A maior parte desse processo ocorre na memória. No entanto, operações grandes podem exigir buffer no disco. Transações armazenadas em cache e arquivos de log também são gravados no disco. Depois que os dados são migrados, a instância de replicação também transmite quaisquer eventos de alteração para garantir que a origem e o destino estejam sincronizados.

Etapa 5: criar um endpoint AWS DMS de origem

O endpoint de origem é usado para o cluster Amazon DocumentDB de origem.

Etapa 6: criar um endpoint de AWS DMS destino

O endpoint de destino é para seu cluster Amazon DocumentDB de destino.

Etapa 7: criar e executar uma tarefa de migração

Uma AWS DMS tarefa vincula a instância de replicação à sua instância de origem e de destino. Ao criar uma tarefa de migração, você especifica o endpoint da origem, o endpoint de destino e a instância de replicação, com todas as configurações de migração. Uma AWS DMS tarefa pode ser criada com três tipos diferentes de migração: migrar dados existentes, migrar dados existentes e replicar alterações em andamento ou replicar somente alterações de dados. Como o objetivo dessa apresentação é atualizar um cluster do Amazon DocumentDB com o mínimo de tempo de inatividade, as etapas utilizam a opção de migrar dados existentes e replicar as alterações em andamento. Com essa opção, AWS DMS captura as alterações ao migrar seus dados existentes. AWS DMS continua capturando e aplicando alterações mesmo após o carregamento dos dados em massa. Por fim, os bancos de dados de origem e de destino ficarão sincronizados, permitindo uma migração com tempo de inatividade mínimo.

AWS DMS agora começa a migrar dados do seu cluster Amazon DocumentDB de origem para seu cluster Amazon DocumentDB de destino. O status da tarefa deve alterar de Iniciando para Em execução. Você pode monitorar o progresso escolhendo Tarefas no AWS DMS console. Depois de vários minutos/horas (dependendo do tamanho da migração), o status deve mudar de Carga concluída, replicação em andamento. Isso significa que AWS DMS concluiu uma migração de carga completa do seu cluster Amazon DocumentDB de origem para um cluster Amazon DocumentDB de destino e agora está replicando eventos de alteração.

Eventualmente, sua origem e destino estarão sincronizados. É possível verificar se eles estão sincronizados executando uma operação count() em suas coleções para verificar se todos os eventos de alteração foram migrados.

Etapa 8: alterar o endpoint da aplicação para o cluster Amazon DocumentDB de destino

Depois que a carga completa estiver concluída e o processo de CDC estiver sendo replicado continuamente, você estará pronto para alterar o endpoint de conexão de banco de dados da sua aplicação do seu cluster Amazon DocumentDB de origem para seu cluster Amazon DocumentDB de destino.