Utilisation d'Amazon S3 en tant que cible pour AWS Database Migration Service

Vous pouvez migrer des données vers Amazon S3 en utilisant AWS DMS depuis n'importe quelle source de base de données prise en charge. Lorsque vous utilisez Amazon S3 en tant que cible dans une tâche AWS DMS, les données de chargement complet et de capture des données de modification (CDC) sont écrites au format .csv (valeurs séparées par une virgule) par défaut. Pour plus d'options de stockage compact et de requêtes plus rapides, vous avez également la possibilité d'écrire les données au format Apache Parquet (.parquet).

AWS DMS nomme les fichiers créés lors d'un chargement complet en utilisant un compteur hexadécimal incrémentiel ; par exemple, LOAD00001.csv, LOAD00002..., LOAD00009, LOAD0000A, etc. pour les fichiers .csv. AWS DMS nomme les fichiers CDC en utilisant des horodatages ; par exemple, 20141029-1134010000.csv. Pour chaque table source contenant des enregistrements, AWS DMS crée un dossier dans le dossier cible spécifié (si la table source n'est pas vide). AWS DMS écrit tous les fichiers de chargement complet et de CDC dans le compartiment Amazon S3 spécifié. Vous pouvez contrôler la taille des fichiers créés par AWS DMS à l'aide du paramètre de point de terminaison MaxFileSize.

Le paramètre bucketFolder contient l'emplacement où les fichiers .csv ou .parquet sont stockés avant d'être téléchargés vers le compartiment S3. Avec les fichiers .csv, les données de la table sont stockées dans le compartiment S3 au format suivant (l'exemple s'applique à des fichiers de chargement complet).

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

Vous pouvez spécifier le délimiteur de colonne, le délimiteur de ligne et d'autres paramètres à l'aide des attributs de connexion supplémentaires. Pour obtenir plus d'informations sur les attributs de connexion supplémentaires, consultez Paramètres de point de terminaison lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS à la fin de cette section.

Vous pouvez spécifier le propriétaire du compartiment et empêcher toute tricherie en utilisant le paramètre de point de terminaison Amazon S3 ExpectedBucketOwner, comme indiqué ci-dessous. Ensuite, lorsque vous soumettez une demande pour tester une connexion ou effectuer une migration, S3 compare l'ID de compte du propriétaire du compartiment au paramètre spécifié.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Lorsque vous utilisez AWS DMS pour répliquer les modifications de données à l'aide d'une tâche de CDC, la première colonne du fichier de sortie .csv ou .parquet indique la manière dont les données de ligne ont été modifiées pour le fichier .csv suivant.

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

Pour cet exemple, supposons qu'il y ait une EMPLOYEE table dans la base de données source. AWS DMS écrit les données dans le fichier .csv ou .parquet en réponse aux événements suivants :

Notez que par défaut pour la CDC, AWS DMS stocke les modifications de ligne pour chaque table de base de données sans tenir compte de l'ordre des transactions. Si vous souhaitez stocker les modifications de ligne dans les fichiers de CDC en fonction de l'ordre des transactions, vous devez utiliser les paramètres de point de terminaison S3 pour le spécifier ainsi que le chemin du dossier dans lequel vous souhaitez que les fichiers de transaction CDC soient stockés sur la cible S3. Pour de plus amples informations, veuillez consulter Capture des données de modification (CDC) avec l'ordre des transactions sur la cible S3.

Pour contrôler la fréquence des écritures sur une cible Amazon S3 lors d'une tâche de réplication de données, vous pouvez configurer les attributs de connexion supplémentaires cdcMaxBatchInterval et cdcMinFileSize. Cela peut améliorer les performances lors de l'analyse des données sans aucune surcharge supplémentaire. Pour de plus amples informations, veuillez consulter Paramètres de point de terminaison lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS.

Prérequis pour l'utilisation d'Amazon S3 en tant que cible

Avant d'utiliser Amazon S3 en tant que cible, vérifiez que les conditions suivantes sont réunies :

Pour définir cet accès de compte, assurez-vous que le rôle affecté au compte utilisateur utilisé pour créer la tâche de migration bénéficie de l'ensemble d'autorisations suivant.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

Pour connaître les conditions préalables à l'utilisation de la validation avec S3 en tant que cible, consultez Conditions préalables à la validation des cibles S3.

Limitations de l'utilisation d'Amazon S3 en tant que cible

Les limitations suivantes s'appliquent lorsque vous utilisez Amazon S3 en tant que cible :

Pour connaître les limitations de l'utilisation de la validation avec S3 en tant que cible, consultez Limitations liées à l'utilisation de la validation des cibles S3.

Sécurité

Pour utiliser Amazon S3 en tant que cible, le compte utilisé pour la migration doit bénéficier d'un accès pour l'écriture et la suppression au compartiment Amazon S3 qui est utilisé comme cible. Spécifiez l'Amazon Resource Name (ARN) du rôle IAM qui bénéficie des autorisations requises pour accéder à Amazon S3.

AWS DMS prend en charge un ensemble d'octrois prédéfinis pour Amazon S3, appelé liste de contrôle d'accès (ACL). Chaque liste ACL prédéfinie possède un ensemble de bénéficiaires et d'autorisations que vous pouvez utiliser pour définir les autorisations du compartiment Amazon S3. Vous pouvez spécifier une liste ACL prédéfinie à l'aide de l'attribut cannedAclForObjects de la chaîne de connexion de votre point de terminaison cible S3. Pour plus d'informations sur l'utilisation de l'attribut de connexion supplémentaire cannedAclForObjects, consultez Paramètres de point de terminaison lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS. Pour plus d'informations sur les listes ACL prédéfinies Amazon S3, consultez Listes ACL prédéfinies.

Le rôle IAM que vous utilisez pour la migration doit être en mesure d'effectuer l'opération d'API s3:PutObjectAcl.

Utilisation d'Apache Parquet pour stocker des objets Amazon S3

Le format .csv (valeurs séparées par des virgules) est le format de stockage par défaut pour les objets cibles Amazon S3. Pour un stockage plus compact et des requêtes plus rapides, vous pouvez utiliser le format de stockage Apache Parquet (.parquet).

Apache Parquet est un format de stockage de fichiers open source, initialement conçu pour Hadoop. Pour plus d'informations sur Apache Parquet, consultez https://parquet.apache.org/.

Pour définir .parquet comme format de stockage pour vos objets cibles S3 migrés, vous pouvez utiliser les mécanismes suivants :

Balisage d'objets Amazon S3

Vous pouvez baliser des objets Amazon S3 créés par une instance de réplication en spécifiant les objets JSON appropriés dans le cadre des règles de mappage des tâches aux tables. Pour plus d'informations sur les exigences et les options du balisage d'objets S3, y compris les noms de balise valides, consultez Balisage d'objets dans le Guide de l'utilisateur Amazon Simple Storage Service. Pour plus d'informations sur le mappage de table avec JSON, consultez Spécification des règles de sélection de table et de transformation à l’aide de JSON.

Vous pouvez baliser des objets S3 créés pour des tables et des schémas spécifiés à l'aide d'un ou plusieurs objets JSON du type de règle selection. Vous pouvez faire suivre cet objet (ou ces objets) selection d'un ou plusieurs objets JSON du type de règle post-processing avec l'action add-tag. Ces règles de post-traitement identifient les objets S3 que vous souhaitez baliser et spécifient les noms et les valeurs des balises que vous souhaitez ajouter à ces objets S3.

Vous trouverez les paramètres à spécifier dans les objets JSON du type de règle post-processing dans le tableau suivant.

Lorsque vous spécifiez plusieurs types de règle post-processing pour baliser une sélection d'objets S3, chaque objet S3 est balisé à l'aide d'un seul objet tag-set à partir d'une règle de post-traitement. L'ensemble de balises utilisé pour baliser un objet S3 donné est celui issu de la règle de post-traitement dont le localisateur d'objet associé correspond le mieux à l'objet S3.

Par exemple, supposons que deux règles de post-traitement identifient le même objet S3. Supposons également que le localisateur d'objet d'une règle utilise des caractères génériques et que le localisateur d'objet de l'autre règle utilise une correspondance exacte pour identifier l'objet S3 (sans caractères génériques). Dans ce cas, l'ensemble de balises associé à la règle de post-traitement avec la correspondance exacte est utilisé pour baliser l'objet S3. Si plusieurs règles de post-traitement correspondent de manière identique à un objet S3, l'ensemble de balises associé à la première règle de post-traitement est utilisé pour baliser l'objet.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

Création de clés AWS KMS pour chiffrer des objets cibles Amazon S3

Vous pouvez créer et utiliser des clés AWS KMS personnalisées pour chiffrer vos objets cibles Amazon S3. Après avoir créé une clé KMS, vous pouvez l'utiliser pour chiffrer des objets à l'aide de l'une des approches suivantes lorsque vous créez le point de terminaison cible S3 :

Pour chiffrer des objets cibles Amazon S3 à l'aide d'une clé KMS, vous avez besoin d'un rôle IAM qui dispose des autorisations d'accès au compartiment Amazon S3. Ce rôle IAM est ensuite accessible dans une stratégie (stratégie de clé) attachée à la clé de chiffrement que vous créez. Pour ce faire, créez les éléments suivants dans votre console IAM :

Les procédures suivantes décrivent la marche à suivre.

Vous avez créé une nouvelle stratégie pour accéder à des ressources Amazon S3 en vue du chiffrement avec un nom spécifié, par exemple DMS-S3-endpoint-access.

Vous avez désormais créé le nouveau rôle pour accéder aux ressources Amazon S3 en vue du chiffrement avec un nom spécifié, par exemple DMS-S3-endpoint-access-role.

Vous venez de créer une nouvelle clé KMS avec un alias spécifié (par exemple, DMS-S3-endpoint-encryption-key). Cette clé permet à AWS DMS de chiffrer des objets cibles Amazon S3.

Utilisation du partitionnement de dossiers basé sur la date

AWS DMS prend en charge les partitions de dossiers S3 en fonction d'une date de validation des transactions lorsque vous utilisez Amazon S3 en tant que point de terminaison cible. Avec le partitionnement de dossiers basé sur la date, vous pouvez écrire des données à partir d'une table source unique dans une structure de dossiers hiérarchisée dans le temps dans un compartiment S3. En partitionnant des dossiers lors de la création d'un point de terminaison cible S3, vous pouvez :

Vous pouvez activer le partitionnement de dossiers basé sur la date lorsque vous créez un point de terminaison cible S3. Vous pouvez l'activer lorsque vous migrez des données existantes et que vous répliquez les modifications continues (chargement complet + CDC) ou lorsque vous répliquez uniquement les modifications de données (CDC uniquement). Utilisez les paramètres de point de terminaison cible suivants :

L'exemple suivant montre comment activer le partitionnement de dossiers basé sur la date, avec les valeurs par défaut pour la séquence de partition de données et le délimiteur. Il utilise l'option --s3-settings '{json-settings}' de la commande AWS CLI create-endpoint.

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

Chargement parallèle de sources partitionnées lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS

Vous pouvez configurer un chargement complet parallèle de sources de données partitionnées sur les cibles Amazon S3. Cette approche améliore les temps de chargement lors de la migration des données partitionnées à partir des moteurs de base de données source pris en charge vers la cible S3. Pour améliorer les temps de chargement des données sources partitionnées, vous créez des sous-dossiers cibles S3 mappés aux partitions de chaque table de la base de données source. Ces sous-dossiers liés à une partition permettent à AWS DMS d'exécuter des processus parallèles pour remplir chaque sous-dossier de la cible.

Pour configurer le chargement complet parallèle d'une cible S3, S3 prend en charge trois types de règles parallel-load pour la règle table-settings de mappage de table :

Pour plus d'informations sur ces types de règles de chargement parallèle, consultez Règles des paramètres de table et de collection et opérations.

Pour les types de règles partitions-auto et partitions-list, AWS DMS utilise le nom de chaque partition depuis le point de terminaison source pour identifier la structure des sous-dossiers cibles, comme suit.

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

Ici, le chemin du sous-dossier où les données sont migrées et stockées sur la cible S3 inclut un sous-dossier partition_name supplémentaire qui correspond à une partition source portant le même nom. Ce sous-dossier partition_name stocke ensuite un ou plusieurs fichiers LOADseq_num.csv contenant des données migrées depuis la partition source spécifiée. Ici, seq_num est le suffixe du numéro de séquence sur le nom du fichier .csv, comme 00000001 dans le fichier .csv portant le nom LOAD00000001.csv.

Cependant, certains moteurs de base de données, tels que MongoDB et DocumentDB, n'utilisent pas le concept de partitions. Pour ces moteurs de base de données, AWS DMS ajoute l'index du segment source en cours d'exécution en tant que préfixe au nom du fichier .csv cible, comme suit.

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

Ici, les fichiers SEGMENT1_LOAD00000001.csv et SEGMENT1_LOAD00000002.csv sont nommés avec le même préfixe d'index de segment source en cours d'exécution, SEGMENT1. Ils portent ce nom, car les données sources migrées pour ces deux fichiers .csv sont associées au même index de segment source en cours d'exécution. D'autre part, les données migrées stockées dans chacun des fichiers cibles SEGMENT2_LOAD00000009.csv et SEGMENT3_LOAD0000000A.csv sont associées à différents index de segment source en cours d'exécution. Le nom de chaque fichier est préfixé avec le nom de son index de segment en cours d'exécution, SEGMENT2 et SEGMENT3.

Pour le type de chargement parallèle ranges, vous définissez les noms et les valeurs de colonne à l'aide des paramètres columns et boundaries des règles table-settings. Avec ces règles, vous pouvez spécifier des partitions correspondant aux noms de segment, comme suit.

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

Ici, le paramètre segment-names définit les noms de trois partitions pour migrer les données en parallèle sur la cible S3. Les données migrées sont chargées en parallèle et stockées dans des fichiers .csv sous les sous-dossiers de partition, comme suit.

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

Ici, AWS DMS stocke une série de fichiers .csv dans chacun des trois sous-dossiers de partition. La série de fichiers .csv de chaque sous-dossier de partition est nommée de manière incrémentielle à partir de LOAD00000001.csv jusqu'à ce que toutes les données soient migrées.

Dans certains cas, il se peut que vous ne nommiez pas explicitement les sous-dossiers de partition pour un type de chargement parallèle ranges à l'aide du paramètre segment-names. Dans ce cas, AWS DMS applique le comportement par défaut qui consiste à créer chaque série de fichiers .csv dans son sous-dossier table_name. Ici, AWS DMS préfixe les noms de fichier de chaque série de fichiers .csv avec le nom de l'index du segment source en cours d'exécution, comme suit.

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

Paramètres de point de terminaison lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS

Vous pouvez utiliser des paramètres de point de terminaison pour configurer la base de données cible Amazon S3 comme si vous utilisiez des attributs de connexion supplémentaires. Vous spécifiez les paramètres lorsque vous créez le point de terminaison cible à l'aide de la console AWS DMS ou à l'aide de la commande create-endpoint dans AWS CLI, avec la syntaxe JSON --s3-settings '{"EndpointSetting": "value", ...}'.

Les paramètres de point de terminaison que vous pouvez utiliser avec Amazon S3 en tant que cible sont indiqués dans le tableau suivant.

Utilisation d'AWS Glue Data Catalog avec une cible Amazon S3 pour AWS DMS

AWS Glue est un service qui fournit des méthodes simples pour classer les données et consiste en un référentiel de métadonnées appelé AWS Glue Data Catalog. Vous pouvez intégrer un catalogue AWS Glue Data Catalog au point de terminaison cible Amazon S3 et interroger les données Amazon S3 via d'autres services AWS tels qu'Amazon Athena. Amazon Redshift fonctionne avec AWS Glue, mais AWS DMS ne le prend pas en charge en tant qu'option préconçue.

Pour générer le catalogue de données, définissez le paramètre de point de terminaison GlueCatalogGeneration sur true, comme illustré dans l'exemple AWS CLI suivant.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint 
            --engine-name s3 --endpoint-type target--s3-settings '{"ServiceAccessRoleArn": 
            "your-service-access-ARN", "BucketFolder": "your-bucket-folder", "BucketName": 
            "your-bucket-name", "DataFormat": "parquet", "GlueCatalogGeneration": true}'

Pour une tâche de réplication à chargement complet incluant le type de données csv, définissez IncludeOpForFullLoad sur true.

N'utilisez pas GlueCatalogGeneration avec PreserveTransactions et CdcPath. Le Crawler AWS Glue ne parvient pas à rapprocher les différents schémas des fichiers stockés dans le chemin CdcPath spécifié.

Pour qu'Amazon Athena puisse indexer vos données Amazon S3 et pour que vous puissiez interroger vos données à l'aide de requêtes SQL standard via Amazon Athena, le rôle IAM attaché au point de terminaison doit posséder la politique suivante :

{
    "Version": "2012-10-17", 
    "Statement": [ 
        {
            "Effect": "Allow", 
            "Action": [
                "s3:GetBucketLocation", 
                "s3:GetObject",
                "s3:ListBucket", 
                "s3:ListBucketMultipartUploads", 
                "s3:ListMultipartUploadParts", 
                "s3:AbortMultipartUpload" 
            ], 
            "Resource": [
                "arn:aws:s3:::bucket123", 
                "arn:aws:s3:::bucket123/*" 
            ]
        },
        {
            "Effect": "Allow", 
            "Action": [ 
                "glue:CreateDatabase", 
                "glue:GetDatabase", 
                "glue:CreateTable", 
                "glue:DeleteTable", 
                "glue:UpdateTable", 
                "glue:GetTable", 
                "glue:BatchCreatePartition", 
                "glue:CreatePartition", 
                "glue:UpdatePartition", 
                "glue:GetPartition", 
                "glue:GetPartitions", 
                "glue:BatchGetPartition"
            ], 
            "Resource": [
                "arn:aws:glue:*:111122223333:catalog", 
                "arn:aws:glue:*:111122223333:database/*", 
                "arn:aws:glue:*:111122223333:table/*" 
            ]
        }, 
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution", 
                "athena:CreateWorkGroup"
            ],
            "Resource": "arn:aws:athena:*:111122223333:workgroup/glue_catalog_generation_for_task_*"
        }
    ]
}

Utilisation du chiffrement des données, des fichiers Parquet et de la CDC sur votre cible Amazon S3

Vous pouvez utiliser les paramètres de point de terminaison cible S3 pour configurer les éléments suivants :

Des paramètres de clé AWS KMS pour le chiffrement des données

Les exemples suivants illustrent la configuration d'une clé KMS personnalisée pour chiffrer vos objets cibles S3. Pour commencer, vous pouvez exécuter la commande CLI create-endpoint suivante.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

Ici, l'objet JSON spécifié par l'option --s3-settings définit deux paramètres. Le premier est le paramètre EncryptionMode avec la valeur SSE_KMS. L'autre est un paramètre ServerSideEncryptionKmsKeyId avec la valeur arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480. Cette valeur est un Amazon Resource Name (ARN) pour votre clé KMS personnalisée. Pour une cible S3, vous spécifiez également des paramètres supplémentaires. Ces paramètres identifient le rôle d'accès au serveur, fournissent des délimiteurs pour le format de stockage d'objet CSV par défaut et attribuent l'emplacement et le nom du compartiment pour stocker les objets cibles S3.

Par défaut, le chiffrement de données S3 a lieu à l’aide du chiffrement côté serveur S3. Pour la cible S3 de l'exemple précédent, cela équivaut à spécifier ses paramètres de point de terminaison, comme dans l'exemple suivant.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

Pour de plus amples informations sur l’utilisation du chiffrement côté serveur S3, veuillez consulter Protection des données à l'aide du chiffrement côté serveur.

Paramètres pour l'utilisation de fichiers .parquet en vue du stockage d'objets cibles S3

Le format par défaut pour la création d'objets cibles S3 est le fichier .csv. Les exemples suivants illustrent certains paramètres de point de terminaison pour spécifier des fichiers .parquet comme format de création d'objets cibles S3. Vous pouvez spécifier le format des fichiers .parquet avec toutes les valeurs par défaut, comme dans l'exemple suivant.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

Ici, le paramètre DataFormat est défini sur parquet pour activer le format avec toutes les valeurs par défaut de S3. Ces valeurs par défaut comprennent un encodage par dictionnaire ("EncodingType: "rle-dictionary") qui utilise une combinaison d'encodage par compression de bits et longueur d'exécution pour stocker de manière plus efficace les valeurs répétitives.

Vous pouvez ajouter des paramètres supplémentaires pour les options autres que les valeurs par défaut, comme dans l'exemple suivant.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "CompressionType": "GZIP", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

Ici, en plus des paramètres requis pour plusieurs options de compartiment S3 standard et le paramètre DataFormat, les paramètres de fichier .parquet supplémentaires suivants sont définis :

Capture des données de modification (CDC) avec l'ordre des transactions sur la cible S3

Par défaut, lorsque AWS DMS exécute une tâche de CDC, il stocke toutes les modifications de ligne journalisées dans la base de données (ou les bases de données) source dans un ou plusieurs fichiers pour chaque table. Chaque ensemble de fichiers contenant des modifications pour la même table réside dans un répertoire cible unique associé à cette table. AWS DMS crée autant de répertoires cibles que de tables de base de données migrées vers le point de terminaison cible Amazon S3. Les fichiers sont stockés sur la cible S3 dans ces répertoires sans tenir compte de l'ordre des transactions. Pour plus d'informations sur les conventions de dénomination des fichiers, le contenu des données et le format, consultez Utilisation d'Amazon S3 en tant que cible pour AWS Database Migration Service.

Pour capturer les modifications de la base de données source de sorte à capturer également l'ordre des transactions, vous pouvez spécifier les paramètres de point de terminaison S3 qui indiquent à AWS DMS de stocker les modifications de ligne pour toutes les tables de base de données dans un ou plusieurs fichiers .csv créés en fonction de la taille de transaction. Ces fichiers de transaction .csv contiennent toutes les modifications de ligne répertoriées séquentiellement dans l'ordre des transactions pour toutes les tables impliquées dans chaque transaction. Ces fichiers de transaction résident ensemble dans un répertoire de transactions unique que vous spécifiez également sur la cible S3. Dans chaque fichier de transaction, l'opération de transaction et l'identité de la base de données et de la table source pour chaque modification de ligne sont stockées dans le cadre des données de ligne, comme suit.

operation,table_name,database_schema_name,field_value,...

Ici, operation est l'opération de transaction sur la ligne modifiée, table_name est le nom de la table de base de données où la ligne est modifiée, database_schema_name est le nom du schéma de base de données dans lequel se trouve la table et field_value est la première d'une ou de plusieurs valeurs de champ qui spécifient les données de la ligne.

L'exemple suivant d'un fichier de transaction illustre les lignes modifiées pour une ou plusieurs transactions impliquant deux tables.

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

Ici, l'opération de transaction sur chaque ligne est indiquée par I (insérer), U (mettre à jour) ou D (supprimer) dans la première colonne. Le nom de la table est la valeur de la deuxième colonne (par exemple, Names_03cdcad11a). Le nom du schéma de base de données est la valeur de la troisième colonne (par exemple, rdsTempsdb). Et les colonnes restantes sont remplies avec vos propres données de ligne (par exemple, 13,Daniel).

En outre, AWS DMS nomme les fichiers de transaction qu'il crée sur la cible Amazon S3 à l'aide d'un horodatage conformément à la convention de dénomination suivante.

CDC_TXN-timestamp.csv

Ici, timestamp est l'heure à laquelle le fichier de transaction a été créé, comme dans l'exemple suivant.

CDC_TXN-20201117153046033.csv

Cet horodatage dans le nom du fichier garantit que les fichiers de transaction sont créés et répertoriés dans l'ordre des transactions lorsque vous les répertoriez dans leur répertoire de transactions.

Pour contrôler la fréquence des écritures sur une cible Amazon S3 lors d'une tâche de réplication de données, vous pouvez configurer les paramètres CdcMaxBatchInterval et CdcMinFileSize. Cela peut améliorer les performances lors de l'analyse des données sans aucune surcharge supplémentaire. Pour de plus amples informations, veuillez consulter Paramètres de point de terminaison lors de l'utilisation d'Amazon S3 en tant que cible pour AWS DMS.

Indication des opérations de base de données source dans des données S3 migrées

Lorsque AWS DMS migre les enregistrements vers une cible S3, un champ supplémentaire peut être créé dans chaque enregistrement migré. Ce champ supplémentaire indique l'opération appliquée à l'enregistrement au niveau de la base de données source. La façon dont AWS DMS crée et définit ce premier champ dépend du type de tâche de migration et des valeurs de includeOpForFullLoad, cdcInsertsOnly et cdcInsertsAndUpdates.

Pour un chargement complet, lorsque la valeur de includeOpForFullLoad est true, AWS DMS crée toujours un premier champ supplémentaire dans chaque enregistrement .csv. Ce champ contient la lettre I (INSERT) pour indiquer que la ligne a été insérée au niveau de la base de données source. Pour un chargement CDC, lorsque la valeur de cdcInsertsOnly est false (valeur par défaut), AWS DMS crée également toujours un premier champ supplémentaire dans chaque enregistrement .csv ou .parquet. Ce champ contient la lettre I (INSERT), U (UPDATE) ou D (DELETE) pour indiquer si la ligne a été insérée, mise à jour ou supprimée au niveau de la base de données source.

Dans le tableau suivant, vous pouvez voir comment les paramètres des attributs includeOpForFullLoad et cdcInsertsOnly fonctionnent ensemble pour modifier la configuration des enregistrements migrés.

Lorsque includeOpForFullLoad et cdcInsertsOnly sont définis sur la même valeur, les enregistrements cibles sont définis en fonction de l'attribut qui contrôle les paramètres d'enregistrement pour le type de migration actuel. Cet attribut est includeOpForFullLoad pour les chargements complets et cdcInsertsOnly pour les chargements CDC.

Lorsque includeOpForFullLoad et cdcInsertsOnly sont définis sur des valeurs différentes, AWS DMS assure la cohérence des paramètres de l'enregistrement pour les chargements CDC et les chargements complets. Pour ce faire, il met en conformité les paramètres d’enregistrement pour un chargement CDC avec ceux du chargement complet précédent spécifié par includeOpForFullLoad.

En d'autres termes, supposons qu'un chargement complet soit défini de façon à ajouter un premier champ pour indiquer un enregistrement inséré. Dans ce cas, un chargement CDC suivant est défini de façon à ajouter un premier champ qui indique un enregistrement inséré, mis à jour ou supprimé (selon l'enregistrement au niveau de la source). En revanche, supposons qu'un chargement complet soit défini de façon à ne pas ajouter un premier champ pour indiquer un enregistrement inséré. Dans ce cas, un chargement CDC est également défini de façon à ne pas ajouter un premier champ pour chaque enregistrement, quelle que soit l’opération d’enregistrement correspondante au niveau de la source.

De même, la façon dont DMS crée et définit un premier champ supplémentaire dépend des paramètres de includeOpForFullLoad et cdcInsertsAndUpdates. Dans le tableau suivant, vous pouvez voir comment les paramètres des attributs includeOpForFullLoad et cdcInsertsAndUpdates fonctionnent ensemble pour modifier la configuration des enregistrements migrés sous ce format.

Types de données cibles pour S3 Parquet

Le tableau suivant présente les types de données cibles Parquet qui sont pris en charge lorsque vous utilisez AWS DMS et le mappage par défaut à partir des types de données AWS DMS.

Pour de plus amples informations sur les types de données AWS DMS, veuillez consulter Types de données pour AWS Database Migration Service.