Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS Validation des données DMS

AWS DMS fournit un support pour la validation des données afin de garantir que vos données ont été migrées correctement de la source vers la cible. Si elle est activée, la validation commence immédiatement après un chargement complet d’une table. La validation compare les modifications incrémentielles d’une tâche avec capture des données modifiées activée au fur et à mesure qu’elles apparaissent.

Lors de la validation des données, AWS DMS compare chaque ligne de la source avec la ligne correspondante de la cible, vérifie que les lignes contiennent les mêmes données et signale toute incompatibilité. Pour ce faire, AWS DMS lancez des requêtes appropriées pour récupérer les données. Notez que ces requêtes consomment des ressources supplémentaires au niveau de la source et de la cible, ainsi que des ressources réseau supplémentaires.

Pour une tâche de CDC uniquement avec la validation activée, toutes les données préexistantes d’une table sont validées avant le début de la validation de nouvelles données.

La validation des données fonctionne avec les bases de données sources suivantes partout où elles sont prises AWS DMS en charge en tant que points de terminaison source :

La validation des données fonctionne avec les bases de données cibles suivantes partout où elles sont prises AWS DMS en charge en tant que points de terminaison cibles :

Pour plus d'informations sur les points de terminaison pris en charge, consultez Utilisation des points de terminaison AWS DMS.

La validation des données nécessite du temps supplémentaire, au-delà de celui requis pour la migration elle-même. Le temps supplémentaire requis dépend de la quantité de données ayant migré.

Pour plus d’informations sur ces paramètres, consultez la page Paramètres de la tâche de validation des données.

Pour obtenir un exemple de paramètres de tâche ValidationSettings dans un fichier JSON, consultez Exemple de paramètres de tâche.

Statistiques des tâches de réplication

Lorsque la validation des données est activée, AWS DMS fournit les statistiques suivantes au niveau de la table :

Pour obtenir un exemple de paramètres de tâche ValidationSettings dans un fichier JSON, consultez Exemple de paramètres de tâche.

Vous pouvez consulter les informations de validation des données à l'aide de la console AWS CLI, de ou de l' AWS DMS API.

Statistiques des tâches de réplication avec Amazon CloudWatch

Lorsque Amazon CloudWatch est activé, AWS DMS fournit les statistiques suivantes sur les tâches de réplication :

Pour collecter des informations de validation des données à partir des statistiques CloudWatch activées, sélectionnez Activer CloudWatch les journaux lorsque vous créez ou modifiez une tâche à l'aide de la console. Ensuite, pour consulter les informations de validation des données et garantir que vos données ont été migrées avec précision depuis la source vers la cible, procédez comme suit.

Revalidation de tables pendant une tâche

Pendant l'exécution d'une tâche, vous pouvez demander AWS DMS à effectuer une validation des données.

AWS Management Console

Utilisation de l’éditeur JSON pour modifier les règles de validation

Pour ajouter une règle de validation à une tâche à l'aide de l'éditeur JSON depuis la AWS DMS console, procédez comme suit :

Par exemple, vous pouvez ajouter la règle de validation suivante pour exécuter une fonction de remplacement sur la source. Dans ce cas, si la règle de validation rencontre un octet null, elle le valide en tant qu’espace.

{
	"rule-type": "validation",
	"rule-id": "1",
	"rule-name": "1",
	"rule-target": "column",
	"object-locator": {
		"schema-name": "Test-Schema",
		"table-name": "Test-Table",
		"column-name": "Test-Column"
	},
	"rule-action": "override-validation-function",
	"source-function": "REPLACE(${column-name}, chr(0), chr(32))",
	"target-function": "${column-name}"
}           
        

Tâches de validation uniquement

Vous pouvez créer des tâches de validation uniquement pour prévisualiser et valider les données sans effectuer de migration ni de réplication de données. Pour créer une tâche de validation uniquement, définissez les paramètres EnableValidation et ValidationOnly sur true. Lors de l’activation de ValidationOnly, des exigences supplémentaires s’appliquent. Pour plus d’informations, consultez Paramètres de la tâche de validation des données.

Pour un type de migration à chargement complet uniquement, une tâche de validation uniquement s’exécute beaucoup plus rapidement que son équivalent CDC lorsque de nombreux échecs sont signalés. Toutefois, les modifications apportées au point de terminaison source ou cible sont signalées comme des échecs en mode de chargement complet, ce qui peut constituer un inconvénient.

Une tâche de validation CDC uniquement retarde la validation en fonction de la latence moyenne et effectue de nouvelles tentatives en cas d’échecs avant de les signaler. Si la majorité des comparaisons de données aboutissent à des échecs, une tâche de validation uniquement pour le mode CDC est très lente, ce qui constitue un inconvénient potentiel.

Une tâche de validation uniquement doit être configurée dans le même sens que la tâche de réplication, en particulier pour la CDC. Cela est dû au fait qu’une tâche de validation CDC uniquement détecte les lignes qui ont changé et doivent être revalidées en fonction du journal des modifications de la source. Si la cible est spécifiée en tant que source, elle ne connaît que les modifications envoyées à la cible par DMS et il n’est pas garanti qu’elle détecte les erreurs de réplication.

Validation du chargement complet uniquement

À partir de AWS DMS la version 3.4.6 et des versions ultérieures, une tâche de validation du chargement complet uniquement compare rapidement toutes les lignes des tables source et cible en un seul passage, signale immédiatement tout échec, puis s'arrête. La validation n’est jamais suspendue en raison d’échecs dans ce mode, elle est optimisée pour la vitesse. Toutefois, les modifications apportées au point de terminaison source ou cible sont signalées comme des échecs.

Validation CDC uniquement

Une tâche de validation CDC uniquement valide toutes les lignes existantes entre les tables source et cible lors d’un nouveau départ. En outre, une tâche de validation CDC uniquement s’exécute en continu, revalide les modifications de réplication continue, limite le nombre d’échecs signalés à chaque passage et effectue de nouvelles tentatives avec les lignes non concordantes avant de signaler un échec. Elle est optimisée pour éviter les faux positifs.

La validation d’une table (ou de l’ensemble de la tâche) est suspendue si les seuils FailureMaxCount ou TableFailureMaxCount sont dépassés. Cela s’applique également à une tâche de migration CDC ou Chargement complet+CDC avec la validation activée. De plus, une tâche CDC avec la validation activée retarde la revalidation pour chaque ligne modifiée en fonction de la latence moyenne sur la source et la cible.

Toutefois, une tâche de validation CDC uniquement ne migre pas de données et n’a pas de latence. Elle définit ValidationQueryCdcDelaySeconds sur 180 par défaut. Vous pouvez également augmenter ce montant pour tenir compte des environnements à latence élevée et éviter les faux positifs.

Cas d’utilisation relatifs à la validation uniquement

Les cas d’utilisation pour scinder la partie validation des données d’une tâche de migration ou de réplication en une tâche de validation uniquement distincte incluent, sans toutefois s’y limiter, les cas suivants :

Pour obtenir un exemple de paramètres de tâche ValidationSettings dans un fichier JSON, consultez Exemple de paramètres de tâche.

Résolution des problèmes

Lors de la validation, AWS DMS crée une nouvelle table sur le point de terminaison cible :awsdms_control.awsdms_validation_failures_v1. Si un enregistrement passe à l'état ValidationSuspendedou à l'ValidationFailedétat, AWS DMS écrit les informations de diagnostic dansawsdms_control.awsdms_validation_failures_v1. Vous pouvez interroger cette table pour aider à résoudre les erreurs de validation.

Pour en savoir plus sur la modification du schéma par défaut dans lequel la table est créée sur la cible, consultez Paramètres de tâche de la table de contrôle.

Voici une description de la table awsdms_control.awsdms_validation_failures_v1 :

Voici un exemple de requête pour une cible MySQL qui vous montrera tous les échecs d'une tâche en interrogeant la awsdms_control.awsdms_validation_failures_v1 table. Notez que le nom du schéma et la syntaxe des requêtes varient selon les versions du moteur cible. Le nom de la tâche doit être l'ID de ressource externe de la tâche. L'ID de ressource externe de la tâche est la dernière valeur de l'ARN de la tâche. Par exemple, pour une tâche avec la valeur d'ARN arn:aws:dms:us-west-2:5599:task: VFPFKH4FJR3FTYKK2RYSI, l'ID de ressource externe de la tâche sera VFPFKH4FJR3FTYKK2RYSI.

select * from awsdms_validation_failures_v1 where TASK_NAME = 'VFPFKH4FJR3FTYKK2RYSI'

TASK_NAME       VFPFKH4FJR3FTYKK2RYSI
TABLE_OWNER     DB2PERF
TABLE_NAME      PERFTEST
FAILURE_TIME    2020-06-11 21:58:44
KEY_TYPE        Row
KEY             {"key":  ["3451491"]}
FAILURE_TYPE    RECORD_DIFF
DETAILS         [[{'MYREAL': '+1.10106036e-01'}, {'MYREAL': '+1.10106044e-01'}],]

                

Vous pouvez examiner le champ DETAILS pour déterminer quelles colonnes ne correspondent pas. Comme vous avez la clé primaire de l’enregistrement ayant échoué, vous pouvez interroger les points de terminaison sources et cibles pour voir quelle partie de l’enregistrement ne correspond pas.

Performances de validation Redshift

Amazon Redshift se distingue des bases de données relationnelles à plusieurs égards : stockage en colonnes, MPP, compression des données, etc. Ces différences confèrent à Redshift un profil de performance différent de celui des bases de données relationnelles.

Pendant la phase de réplication à chargement complet, la validation utilise des requêtes d’intervalle, la taille des données étant régie par le paramètre PartitionSize. Ces requêtes d’intervalle sélectionnent tous les enregistrements de la table source.

Pour une réplication continue, les requêtes passent d’une recherche par intervalle à une recherche par enregistrement. Le type de requête est déterminé dynamiquement en fonction de plusieurs facteurs, tels que :

Il est possible que votre cluster Amazon Redshift soit soumis à une charge supplémentaire en raison des requêtes de validation. Comme les facteurs ci-dessus varient selon les cas d’utilisation, vous devez passer en revue les performances de vos requêtes de validation et ajuster votre cluster et votre table en conséquence. Parmi les options permettant d’atténuer les problèmes de performances, citons les suivantes :

Limites

Pour connaître les limites d’utilisation de la validation des cibles S3, consultez Limitations liées à l'utilisation de la validation des cibles S3.