Spécification des paramètres des tâches pour les tâches du AWS Database Migration Service

Chaque tâche possède des paramètres que vous pouvez configurer selon les besoins de votre migration de base de données. Vous créez ces paramètres dans un JSON fichier ou, avec certains paramètres, vous pouvez les définir à l'aide de la AWS DMS console. Pour en savoir plus sur l’utilisation d’un fichier de configuration de tâche pour définir les paramètres d’une tâche, consultez Exemple de paramètres de tâche.

Il existe plusieurs types principaux de paramètres de tâche, comme présenté ci-dessous.

Rubriques

Paramètres de tâche	Documentation utile
Création d’un rapport d’évaluation de tâche Vous pouvez créer un rapport d'évaluation de tâche qui présente tous les types de données non pris en charge qui peuvent entraîner des problèmes lors de la migration. Vous pouvez exécuter ce rapport sur votre tâche avant l'exécution de la tâche afin de découvrir les problèmes potentiels.	Activation et utilisation des évaluations de prémigration pour une tâche
Création d’une tâche Lorsque vous créez une tâche, vous spécifiez la source, la cible et l'instance de réplication, ainsi que les paramètres de migration.	Création d’une tâche
Création d’une tâche de réplication continue Vous pouvez configurer une tâche afin de fournir une réplication continue entre la source et la cible.	Création de tâches pour la réplication continue à l'aide d'AWS DMS
Application des paramètres de tâche Chaque tâche possède des paramètres que vous pouvez configurer selon les besoins de votre migration de base de données. Vous créez ces paramètres dans un JSON fichier ou, avec certains paramètres, vous pouvez les définir à l'aide de la AWS DMS console.	Spécification des paramètres des tâches pour les tâches du AWS Database Migration Service
Validation des données Utilisez la validation des données pour AWS DMS comparer les données de votre magasin de données cible avec celles de votre magasin de données source.	AWS DMSvalidation des données
Modification d’une tâche Lorsqu'une tâche est arrêtée, vous pouvez modifier les paramètres de la tâche.	Modification d'une tâche
Rechargement de tables pendant une tâche Vous pouvez recharger une table pendant une tâche si une erreur se produit pendant la tâche.	Rechargement de tables pendant une tâche
Utilisation d’un mappage de tables Le mappage de table utilise différents types de règles afin de spécifier les paramètres de tâche pour la source de données, le schéma source, les données et toutes les transformations qui doivent se produire pendant la tâche.	Règles de sélection Règles et actions de sélection Règles de transformation Règles et actions de transformation
Application de filtres Vous pouvez utiliser des filtres de source pour limiter le nombre et le type d'enregistrements transférés de votre source vers votre cible. Par exemple, vous pouvez spécifier que seuls les employés avec un emplacement de siège sont déplacés vers la base de données cible. Vous appliquez des filtres sur une colonne de données.	Utilisation de filtres de source
Surveillance d’une tâche Il existe plusieurs façons d'obtenir des informations sur les performances d'une tâche et sur les tables utilisées par la tâche.	Surveillance des tâches AWS DMS
Gestion des journaux de tâches Vous pouvez consulter et supprimer les journaux des tâches à l'aide du AWS DMS API ou AWS CLI.	Affichage et gestion des journaux des tâches AWS DMS

Exemple de paramètres de tâche

Vous pouvez utiliser le AWS Management Console ou le AWS CLI pour créer une tâche de réplication. Si vous utilisez le AWS CLI, vous définissez les paramètres des tâches en créant un JSON fichier, puis en spécifiant le JSON fichier ://URIcomme ReplicationTaskSettingsparamètre de l'CreateReplicationTaskopération.

L'exemple suivant montre comment utiliser le AWS CLI pour appeler l'CreateReplicationTaskopération :


aws dms create-replication-task \
--replication-task-identifier MyTask \
--source-endpoint-arn arn:aws:dms:us-west-2:123456789012:endpoint:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--target-endpoint-arn arn:aws:dms:us-west-2:123456789012:endpoint:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--replication-instance-arn arn:aws:dms:us-west-2:123456789012:rep:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--migration-type cdc \
--table-mappings file://tablemappings.json \
--replication-task-settings file://settings.json

L’exemple précédent utilise un fichier de mappage de table appelé tablemappings.json. Pour obtenir des exemples de mappage de table, consultez Utilisation du mappage de table pour spécifier des paramètres de tâche.

Un JSON fichier de paramètres de tâche peut ressembler à ce qui suit.



{
  "TargetMetadata": {
    "TargetSchema": "",
    "SupportLobs": true,
    "FullLobMode": false,
    "LobChunkSize": 64,
    "LimitedSizeLobMode": true,
    "LobMaxSize": 32,
    "InlineLobMaxSize": 0,
    "LoadMaxFileSize": 0,
    "ParallelLoadThreads": 0,
    "ParallelLoadBufferSize":0,
    "ParallelLoadQueuesPerThread": 1,
    "ParallelApplyThreads": 0,
    "ParallelApplyBufferSize": 100,
    "ParallelApplyQueuesPerThread": 1,    
    "BatchApplyEnabled": false,
    "TaskRecoveryTableEnabled": false
  },
  "FullLoadSettings": {
    "TargetTablePrepMode": "DO_NOTHING",
    "CreatePkAfterFullLoad": false,
    "StopTaskCachedChangesApplied": false,
    "StopTaskCachedChangesNotApplied": false,
    "MaxFullLoadSubTasks": 8,
    "TransactionConsistencyTimeout": 600,
    "CommitRate": 10000
  },
    "TTSettings" : {
    "EnableTT" : true,
    "TTS3Settings": {
        "EncryptionMode": "SSE_KMS",
        "ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-west-2:112233445566:key/myKMSKey",
        "ServiceAccessRoleArn": "arn:aws:iam::112233445566:role/dms-tt-s3-access-role",
        "BucketName": "myttbucket",
        "BucketFolder": "myttfolder",
        "EnableDeletingFromS3OnTaskDelete": false
      },
    "TTRecordSettings": {
        "EnableRawData" : true,
        "OperationsToLog": "DELETE,UPDATE",
        "MaxRecordSize": 64
      }
  },
  "Logging": {
    "EnableLogging": false
  },
  "ControlTablesSettings": {
    "ControlSchema":"",
    "HistoryTimeslotInMinutes":5,
    "HistoryTableEnabled": false,
    "SuspendedTablesTableEnabled": false,
    "StatusTableEnabled": false
  },
  "StreamBufferSettings": {
    "StreamBufferCount": 3,
    "StreamBufferSizeInMB": 8
  },
  "ChangeProcessingTuning": { 
    "BatchApplyPreserveTransaction": true, 
    "BatchApplyTimeoutMin": 1, 
    "BatchApplyTimeoutMax": 30, 
    "BatchApplyMemoryLimit": 500, 
    "BatchSplitSize": 0, 
    "MinTransactionSize": 1000, 
    "CommitTimeout": 1, 
    "MemoryLimitTotal": 1024, 
    "MemoryKeepTime": 60, 
    "StatementCacheSize": 50 
  },
  "ChangeProcessingDdlHandlingPolicy": {
    "HandleSourceTableDropped": true,
    "HandleSourceTableTruncated": true,
    "HandleSourceTableAltered": true
  },
  "LoopbackPreventionSettings": {
    "EnableLoopbackPrevention": true,
    "SourceSchema": "LOOP-DATA",
    "TargetSchema": "loop-data"
  },

  "CharacterSetSettings": {
    "CharacterReplacements": [ {
        "SourceCharacterCodePoint": 35,
        "TargetCharacterCodePoint": 52
      }, {
        "SourceCharacterCodePoint": 37,
        "TargetCharacterCodePoint": 103
      }
    ],
    "CharacterSetSupport": {
      "CharacterSet": "UTF16_PlatformEndian",
      "ReplaceWithCharacterCodePoint": 0
    }
  },
  "BeforeImageSettings": {
    "EnableBeforeImage": false,
    "FieldName": "",  
    "ColumnFilter": "pk-only"
  },
  "ErrorBehavior": {
    "DataErrorPolicy": "LOG_ERROR",
    "DataTruncationErrorPolicy":"LOG_ERROR",
    "DataMaskingErrorPolicy": "STOP_TASK",
    "DataErrorEscalationPolicy":"SUSPEND_TABLE",
    "DataErrorEscalationCount": 50,
    "TableErrorPolicy":"SUSPEND_TABLE",
    "TableErrorEscalationPolicy":"STOP_TASK",
    "TableErrorEscalationCount": 50,
    "RecoverableErrorCount": 0,
    "RecoverableErrorInterval": 5,
    "RecoverableErrorThrottling": true,
    "RecoverableErrorThrottlingMax": 1800,
    "ApplyErrorDeletePolicy":"IGNORE_RECORD",
    "ApplyErrorInsertPolicy":"LOG_ERROR",
    "ApplyErrorUpdatePolicy":"LOG_ERROR",
    "ApplyErrorEscalationPolicy":"LOG_ERROR",
    "ApplyErrorEscalationCount": 0,
    "FullLoadIgnoreConflicts": true
  },
  "ValidationSettings": {
    "EnableValidation": false,
    "ValidationMode": "ROW_LEVEL",
    "ThreadCount": 5,
    "PartitionSize": 10000,
    "FailureMaxCount": 1000,
    "RecordFailureDelayInMinutes": 5,
    "RecordSuspendDelayInMinutes": 30,
    "MaxKeyColumnSize": 8096,
    "TableFailureMaxCount": 10000,
    "ValidationOnly": false,
    "HandleCollationDiff": false,
    "RecordFailureDelayLimitInMinutes": 1,
    "SkipLobColumns": false,
    "ValidationPartialLobSize": 0,
    "ValidationQueryCdcDelaySeconds": 0
  }
}

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Création d’une tâche

Paramètres de métadonnées des tâches cibles