As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

AWS Validação de dados do DMS

AWS DMS fornece suporte para validação de dados para garantir que seus dados foram migrados com precisão da origem para o destino. Se ativada, a validação começa imediatamente após a execução da carga máxima de uma tabela. A validação compara as alterações incrementais de uma tarefa ativada para a CDC à medida que ocorrem.

Durante a validação de dados, AWS DMS compara cada linha na origem com a linha correspondente no destino, verifica se as linhas contêm os mesmos dados e relata qualquer incompatibilidade. Para fazer isso, AWS DMS emite consultas apropriadas para recuperar os dados. Observe que essas consultas consomem recursos adicionais na origem e no destino, bem como em outros recursos de rede.

Para uma tarefa exclusiva de apenas CDC com a validação ativada, todos os dados preexistentes em uma tabela são validados antes de iniciar a validação de novos dados.

A validação de dados funciona com os seguintes bancos de dados de origem, sempre que os AWS DMS suporte como endpoints de origem:

A validação de dados funciona com os seguintes bancos de dados de destino, sempre que os AWS DMS suporte como endpoints de destino:

Para obter mais informações sobre os endpoints com suporte, consulte Como trabalhar com endpoints do AWS DMS.

A validação de dados requer tempo adicional, além da quantidade necessária para a migração em si. O tempo extra necessário depende do volume de dados que foi migrado.

Para ter mais informações sobre essas configurações, consulte Configurações da tarefa de validação de dados.

Para obter um exemplo das configurações da tarefa ValidationSettings em um arquivo JSON, consulte Exemplo de configurações de tarefas.

Estatísticas da tarefa de replicação

Quando a validação de dados está ativada, AWS DMS fornece as seguintes estatísticas no nível da tabela:

Para obter um exemplo das configurações da tarefa ValidationSettings em um arquivo JSON, consulte Exemplo de configurações de tarefas.

Você pode visualizar as informações de validação de dados usando o console AWS CLI, o ou a AWS DMS API.

Estatísticas de tarefas de replicação com a Amazon CloudWatch

Quando a Amazon CloudWatch está habilitada, AWS DMS fornece as seguintes estatísticas de tarefas de replicação:

Para coletar informações de validação de dados das estatísticas CloudWatch ativadas, selecione Ativar CloudWatch registros ao criar ou modificar uma tarefa usando o console. Para visualizar as informações sobre a validação de dados e garantir que os dados foram migrados de forma precisa da origem para o destino, faça o seguinte.

Revalidar tabelas durante uma tarefa

Enquanto uma tarefa está em execução, você pode solicitar AWS DMS a validação de dados.

AWS Management Console

Utilizar o editor JSON para modificar regras de validação

Para adicionar uma regra de validação a uma tarefa usando o editor JSON do AWS DMS console, faça o seguinte:

Por exemplo, é possível adicionar a regra de validação a seguir para executar um perfil de substituição na origem. Nesse caso, se a regra de validação encontrar um byte nulo, ela o validará como um espaço.

{
	"rule-type": "validation",
	"rule-id": "1",
	"rule-name": "1",
	"rule-target": "column",
	"object-locator": {
		"schema-name": "Test-Schema",
		"table-name": "Test-Table",
		"column-name": "Test-Column"
	},
	"rule-action": "override-validation-function",
	"source-function": "REPLACE(${column-name}, chr(0), chr(32))",
	"target-function": "${column-name}"
}           
        

Tarefas somente de validação

É possível criar tarefas somente de validação para visualizar e validar os dados sem executar nenhuma migração ou replicação de dados. Para criar uma tarefa somente de validação, defina as configurações EnableValidation e ValidationOnly como true. Ao ativar ValidationOnly, requisitos adicionais se aplicam. Para ter mais informações, consulte Configurações da tarefa de validação de dados.

Para um tipo de migração de carga máxima somente, uma tarefa somente de validação é concluída muito mais rapidamente do que a CDC equivalente quando muitas falhas são relatadas. Mas as alterações no endpoint de origem ou de destino são relatadas como falhas no modo de carga máxima, uma possível desvantagem.

Uma tarefa somente de validação da CDC atrasa a validação com base na latência média e repete as falhas várias vezes antes de relatá-las. Se a maioria das comparações de dados resultar em falhas, uma tarefa somente de validação do modo CDC será muito lenta, uma desvantagem potencial.

Uma tarefa somente de validação deve ser configurada na mesma direção da tarefa de replicação, especialmente para a CDC. Isso ocorre porque uma tarefa somente de validação de CDC detecta quais linhas foram alteradas e precisam ser revalidadas com base no log de alterações na origem. Se o destino for especificado como a origem, ele só saberá sobre as alterações enviadas ao destino pelo DMS e não terá a garantia de detectar erros de replicação.

Validação somente de carga máxima

A partir da AWS DMS versão 3.4.6 e superior, uma tarefa somente de validação de carga completa compara rapidamente todas as linhas das tabelas de origem e destino em uma única passagem, relata imediatamente quaisquer falhas e, em seguida, é encerrada. A validação nunca é suspensa devido a falhas nesse modo, ela é otimizada para velocidade. Mas as alterações no endpoint de origem ou de destino são relatadas como falhas.

Validação somente de CDC

Uma tarefa somente de validação de CDC valida todas as linhas existentes entre as tabelas de origem e de destino em um novo início. Além disso, uma tarefa somente de validação de CDC é executada continuamente, revalida as alterações de replicação em andamento, limita o número de falhas relatadas em cada passagem e repete as linhas incompatíveis antes de declará-las como falhas. Ela é otimizada para evitar falsos positivos.

A validação de uma tabela (ou de toda a tarefa) será suspensa se os limites de FailureMaxCount ou de TableFailureMaxCount forem violados. Isso também se aplica a uma tarefa de migração de CDC ou de carga máxima+CDC com a validação ativada. E uma tarefa de CDC com validação ativada atrasa a revalidação de cada linha alterada com base na latência média de origem e de destino.

Mas tarefa de somente validação de CDC não migra dados e não tem latência. Ela define ValidationQueryCdcDelaySeconds como 180 por padrão. É possível aumentar a quantidade para considerar ambientes de alta latência e ajudar a evitar falsos positivos.

Casos de uso de somente de validação

Os casos de uso para a divisão da parte de validação de dados de uma tarefa de migração ou replicação em uma tarefa somente de validação separada incluem, mas não estão limitados, ao seguinte:

Para obter um exemplo das configurações da tarefa ValidationSettings em um arquivo JSON, consulte Exemplo de configurações de tarefas).

Solução de problemas

Durante a validação, AWS DMS cria uma nova tabela no endpoint de destino:awsdms_control.awsdms_validation_failures_v1. Se algum registro entrar no ValidationFailedestado ValidationSuspendedou, AWS DMS grava as informações de diagnóstico emawsdms_control.awsdms_validation_failures_v1. É possível consultar essa tabela para ajudar a solucionar erros de validação.

Para obter informações sobre como alterar o esquema padrão em que a tabela é criada no destino, consulte Configurações da tarefa da tabela de controle.

Veja a seguir uma descrição da tabela awsdms_control.awsdms_validation_failures_v1:

Veja a seguir um exemplo de consulta para um destino do MySQL que mostrará todas as falhas de uma tarefa consultando a tabela. awsdms_control.awsdms_validation_failures_v1 Observe que o nome do esquema e a sintaxe da consulta variam nas versões do mecanismo de destino. O nome da tarefa deve ser seu ID de recurso externo. O ID de recurso externo da tarefa é o último valor em seu ARN. Por exemplo, para uma tarefa com um valor de ARN arn:aws:dms:us-west-2:5599:task: VFPFKH4FJR3FTYKK2RYSI, o ID de recurso externo será VFPFKH4FJR3FTYKK2RYSI.

select * from awsdms_validation_failures_v1 where TASK_NAME = 'VFPFKH4FJR3FTYKK2RYSI'

TASK_NAME       VFPFKH4FJR3FTYKK2RYSI
TABLE_OWNER     DB2PERF
TABLE_NAME      PERFTEST
FAILURE_TIME    2020-06-11 21:58:44
KEY_TYPE        Row
KEY             {"key":  ["3451491"]}
FAILURE_TYPE    RECORD_DIFF
DETAILS         [[{'MYREAL': '+1.10106036e-01'}, {'MYREAL': '+1.10106044e-01'}],]

                

É possível examinar o campo DETAILS para determinar quais colunas não correspondem. Como você tem a chave primária do registro que falhou, poderá consultar os endpoints de origem e de destino para ver qual parte do registro não corresponde.

Desempenho da validação do Redshift

O Amazon Redshift difere dos bancos de dados relacionais em vários sentidos, como armazenamento colunar, MPP, compactação de dados e outros fatores. Essas diferenças conferem ao Redshift um perfil de desempenho distinto em relação aos bancos de dados relacionais.

Durante a fase de replicação de carga máxima, a validação usa consultas de intervalo e o tamanho dos dados é controlado pela configuração PartitionSize. Essas consultas baseadas em intervalos selecionam todos os registros da tabela de origem.

Na replicação contínua, as consultas alternam entre buscas de registros individuais e baseadas em intervalos. O tipo de consulta é determinado dinamicamente com base em vários fatores, como os seguintes:

Você pode ver uma carga adicional no cluster do Amazon Redshift devido a consultas de validação. Como os fatores acima variam entre os casos de uso, você deve analisar o desempenho da consulta de validação e ajustar o cluster e a tabela adequadamente. Algumas opções para mitigar problemas de desempenho incluem o seguinte:

Limitações

Para obter as limitações ao utilizar a validação de destino do S3, consulte Limitações da utilização da validação de destino do S3..