Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS Convalida dei dati DMS

AWS DMS fornisce supporto per la convalida dei dati per garantire che i dati siano stati migrati con precisione dall'origine alla destinazione. Se abilitata, la convalida inizia immediatamente dopo il pieno carico di una tabella. La convalida confronta le modifiche incrementali di un'attività abilitata CDC man mano che si verificano.

Durante la convalida dei dati, AWS DMS confronta ogni riga dell'origine con la riga corrispondente nella destinazione, verifica che le righe contengano gli stessi dati e segnala eventuali discrepanze. A tale scopo, vengono eseguite le query appropriate AWS DMS per recuperare i dati. Tieni presente che queste query utilizzano risorse aggiuntive all'origine e alla destinazione, nonché risorse di rete aggiuntive.

Per un'attività di sola CDC con convalida abilitata, tutti i dati preesistenti in una tabella vengono convalidati prima di iniziare la convalida di nuovi dati.

La convalida dei dati funziona con i seguenti database di origine ovunque li AWS DMS supporti come endpoint di origine:

La convalida dei dati funziona con i seguenti database di destinazione ovunque li AWS DMS supporti come endpoint di destinazione:

Per ulteriori informazioni sugli endpoint supportati, consulta Utilizzo degli endpoint AWS DMS.

La convalida dei dati richiede tempo aggiuntivo rispetto alla quantità necessaria per la migrazione. Il tempo aggiuntivo necessario dipende dalla quantità di dati migrata.

Per ulteriori informazioni su queste impostazioni, consultare Impostazioni delle attività di convalida dei dati.

Per un esempio di impostazioni dell'attività ValidationSettings in un file JSON, consulta Esempio di impostazioni delle attività.

Statistiche delle attività di replica

Quando la convalida dei dati è abilitata, AWS DMS fornisce le seguenti statistiche a livello di tabella:

Per un esempio di impostazioni dell'attività ValidationSettings in un file JSON, consulta Esempio di impostazioni delle attività.

È possibile visualizzare le informazioni sulla convalida dei dati utilizzando la console AWS CLI, l'o l'API. AWS DMS

Statistiche sulle attività di replica con Amazon CloudWatch

Quando Amazon CloudWatch è abilitato, AWS DMS fornisce le seguenti statistiche sulle attività di replica:

Per raccogliere informazioni sulla convalida dei dati dalle statistiche CloudWatch abilitate, seleziona Abilita CloudWatch i registri quando crei o modifichi un'attività utilizzando la console. Quindi, per visualizzare le informazioni sulla convalida dei dati e garantire che i dati siano stati migrati accuratamente dall'origine alla destinazione, procedi come segue.

Nuova convalida delle tabelle durante un'attività

Mentre un'attività è in esecuzione, puoi richiedere di eseguire la convalida AWS DMS dei dati.

AWS Management Console

Utilizzo dell'editor JSON per modificare le regole di convalida

Per aggiungere una regola di convalida a un'attività utilizzando l'editor JSON dalla AWS DMS console, procedi come segue:

Ad esempio, puoi aggiungere la regola di convalida seguente per eseguire una funzione di sostituzione sull'origine. In questo caso, se la regola di convalida rileva un byte nullo, lo convalida come spazio.

{
	"rule-type": "validation",
	"rule-id": "1",
	"rule-name": "1",
	"rule-target": "column",
	"object-locator": {
		"schema-name": "Test-Schema",
		"table-name": "Test-Table",
		"column-name": "Test-Column"
	},
	"rule-action": "override-validation-function",
	"source-function": "REPLACE(${column-name}, chr(0), chr(32))",
	"target-function": "${column-name}"
}           
        

Attività di sola convalida

È possibile creare attività di sola convalida per visualizzare in anteprima e convalidare i dati senza eseguire alcuna migrazione o replica dei dati. Per creare un'attività di sola convalida, configura le impostazioni EnableValidation e ValidationOnly su true. Quando si abilita ValidationOnly, si applicano requisiti aggiuntivi. Per ulteriori informazioni, consulta Impostazioni delle attività di convalida dei dati.

Per una migrazione di tipo solo pieno carico, l'attività di sola convalida viene completata molto più rapidamente dell'equivalente CDC quando vengono restituiti molti errori. Tuttavia, le modifiche all'endpoint di origine o di destinazione vengono segnalate come errori per la modalità di pieno carico, un possibile svantaggio.

Un'attività di sola convalida CDC ritarda la convalida in base alla latenza media e riprova gli errori più volte prima di segnalarli. Se la maggior parte dei confronti dei dati genera errori, un'operazione di sola convalida per la modalità CDC è molto lenta, il che rappresenta un potenziale svantaggio.

Un'attività di sola convalida deve essere impostata nella stessa direzione dell'attività di replica, in particolare per CDC. Questo perché l'attività di sola convalida CDC rileva quali righe sono state modificate e devono essere riconvalidate in base al log delle modifiche sull'origine. Se la destinazione è specificata come origine, riconosce solo le modifiche inviate alla destinazione dal DMS e non è garantito che rilevi gli errori di replica.

Sola convalida pieno carico

A partire dalla AWS DMS versione 3.4.6 e successive, un'attività di sola convalida a pieno carico confronta rapidamente tutte le righe delle tabelle di origine e di destinazione in un unico passaggio, segnala immediatamente eventuali errori e quindi si spegne. La convalida non viene mai sospesa a causa di errori in questa modalità ed è ottimizzata per la velocità. Tuttavia, le modifiche all'endpoint di origine o di destinazione vengono segnalate come errori.

Sola convalida CDC

Un'attività di sola convalida CDC convalida tutte le righe esistenti tra le tabelle di origine e di destinazione per un nuovo avvio. Inoltre, un'attività di sola convalida CDC viene eseguita continuamente, riconvalida le modifiche della replica continua, limita il numero di errori segnalati per ogni passaggio e riprova le righe non corrispondenti prima di restituire l'esito negativo. È ottimizzata per prevenire falsi positivi.

La convalida di una tabella (o dell'intera attività) viene sospesa in caso di violazione delle soglie FailureMaxCount o TableFailureMaxCount. Ciò vale anche per un'attività di migrazione CDC o pieno carico e CDC con la convalida abilitata. Inoltre, un'attività di CDC con la convalida abilitata ritarda la riconvalida per ogni riga modificata in base alla latenza media di origine e di destinazione.

Tuttavia un'attività di sola convalida CDC non migra i dati e non ha alcuna latenza. Per impostazione predefinita, imposta ValidationQueryCdcDelaySeconds su 180. Inoltre, puoi aumentare la quantità per tenere conto degli ambienti ad alta latenza e prevenire i falsi positivi.

Casi d'uso di sola convalida

I casi d'uso per suddividere la parte di convalida dei dati di un'attività di migrazione o replica in un'attività di sola convalida separata includono, a titolo esemplificativo ma non esaustivo, i seguenti:

Per un esempio di impostazioni dell'attività ValidationSettings in un file JSON, consulta Esempio di impostazioni delle attività.

Risoluzione dei problemi

Durante la convalida, AWS DMS crea una nuova tabella nell'endpoint di destinazione:. awsdms_control.awsdms_validation_failures_v1 Se un record entra nello ValidationFailedstato ValidationSuspendedo, AWS DMS scrive le informazioni diagnostiche su. awsdms_control.awsdms_validation_failures_v1 Puoi eseguire query sulla tabella per risolvere gli errori di convalida.

Per informazioni sulla modifica dello schema predefinito in cui viene creata la tabella sulla destinazione, consulta Impostazioni delle attività delle tabelle di controllo.

In seguito è riportata una descrizione della tabella awsdms_control.awsdms_validation_failures_v1:

Di seguito è riportata una query di esempio per una destinazione MySQL che mostrerà tutti gli errori di un'attività interrogando la tabella. awsdms_control.awsdms_validation_failures_v1 Nota che il nome dello schema e la sintassi della query varieranno tra le versioni del motore di destinazione. Il nome dell'attività deve essere l'ID risorsa esterna dell'attività. L'ID risorsa esterna dell'attività è l'ultimo valore nell'ARN dell'attività. Ad esempio, per un'attività con un valore ARN di arn:aws:dms:us-west-2:5599:task: VFPFKH4FJR3FTYKK2RYSI, l'ID risorsa esterna dell'attività è VFPFKH4FJR3FTYKK2RYSI.

select * from awsdms_validation_failures_v1 where TASK_NAME = 'VFPFKH4FJR3FTYKK2RYSI'

TASK_NAME       VFPFKH4FJR3FTYKK2RYSI
TABLE_OWNER     DB2PERF
TABLE_NAME      PERFTEST
FAILURE_TIME    2020-06-11 21:58:44
KEY_TYPE        Row
KEY             {"key":  ["3451491"]}
FAILURE_TYPE    RECORD_DIFF
DETAILS         [[{'MYREAL': '+1.10106036e-01'}, {'MYREAL': '+1.10106044e-01'}],]

                

Puoi esaminare il campo DETAILS per determinare quali colonne non corrispondono. Dopo aver ottenuto la chiave primaria del record non riuscito, puoi eseguire query sugli endpoint di origine e di destinazione per visualizzare quale parte del record non corrisponde.

Prestazioni di convalida di Redshift

Amazon Redshift si differenzia dai database relazionali in diversi modi, tra cui l'archiviazione a colonne, la MPP, la compressione dei dati e altri fattori. Queste differenze conferiscono a Redshift un profilo prestazionale diverso rispetto ai database relazionali.

Durante la fase di replica di pieno carico, la convalida utilizza le query di intervallo, con la dimensione dei dati determinata dall'impostazione PartitionSize. Queste query basate su intervalli selezionano tutti i record dalla tabella di origine.

Per la replica continua, le query passano dal recupero dei record basato su intervalli a quello basato su singoli record. Il tipo di query viene determinato dinamicamente in base a più fattori, ad esempio:

A causa delle query di convalida, potresti riscontrare un carico aggiuntivo sul cluster Amazon Redshift. Dal momento che i fattori sopra indicati variano a seconda dei casi d'uso, è necessario esaminare le prestazioni delle query di convalida e ottimizzare il cluster e la tabella di conseguenza. Alcune opzioni per mitigare i problemi di prestazioni sono:

Limitazioni

Per le limitazioni relative all'utilizzo della convalida della destinazione S3, consulta Limitazioni all'utilizzo della convalida della destinazione S3.