Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'Amazon S3 comme source pour AWS DMS

Vous pouvez migrer des données depuis un compartiment Amazon S3 à l'aide de AWS DMS. Pour ce faire, fournissez un accès à un compartiment Amazon S3 contenant un ou plusieurs fichiers de données. Dans ce compartiment S3, incluez un fichier JSON qui décrit la mise en correspondance entre les données et les tables de base de données de ces données dans ces fichiers.

Les fichiers de données source doivent être présents dans le compartiment Amazon S3 avant que le chargement complet ne démarre. Vous spécifiez le nom de compartiment à l'aide du paramètre bucketName.

Les fichiers de données sources peuvent être dans les formats suivants :

Pour les fichiers de données source au format de valeurs séparées par des virgules (.csv), nommez-les selon la convention de dénomination suivante. Dans cette convention, schemaName est le schéma source et tableName est le nom d'une table dans ce schéma.

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

Par exemple, supposons que vos fichiers de données se trouvent dans mybucket au chemin Amazon S3 suivant.

s3://mybucket/hr/employee

Au moment du chargement, AWS DMS suppose que le nom du schéma source est hr et que le nom de la table source estemployee.

En plus de bucketName (ce qui est obligatoire), vous pouvez éventuellement fournir un bucketFolder paramètre pour spécifier où AWS DMS rechercher les fichiers de données dans le compartiment Amazon S3. En reprenant l'exemple précédent, si vous définissez bucketFolder sursourcedata, AWS DMS lit les fichiers de données dans le chemin suivant.

s3://mybucket/sourcedata/hr/employee

Vous pouvez spécifier le délimiteur de colonne, le délimiteur de ligne, l'indicateur de valeur null et d'autres paramètres à l'aide d'attributs de connexion supplémentaires. Pour plus d’informations, consultez Paramètres du point de terminaison pour Amazon S3 en tant que source pour AWS DMS.

Vous pouvez spécifier le propriétaire du compartiment et empêcher toute tricherie en utilisant le paramètre de point de terminaison Amazon S3 ExpectedBucketOwner, comme indiqué ci-dessous. Ensuite, lorsque vous soumettez une demande pour tester une connexion ou effectuer une migration, S3 compare l’ID de compte du propriétaire du compartiment au paramètre spécifié.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Définition de tables externes pour Amazon S3 en tant que source pour AWS DMS

En plus des fichiers de données, vous devez fournir une définition de table externe. Une définition de table externe est un document JSON qui décrit comment AWS DMS interpréter les données d'Amazon S3. La taille maximale de ce document est de 2 Mo. Si vous créez un point de terminaison source à l'aide AWS DMS de la console de gestion, vous pouvez saisir le code JSON directement dans le champ de mappage des tables. Si vous utilisez le AWS Command Line Interface (AWS CLI) ou l' AWS DMS API pour effectuer des migrations, vous pouvez créer un fichier JSON pour spécifier la définition de la table externe.

Supposons que vous disposez d'un fichier de données qui inclut les éléments suivants.

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

Voici un exemple de définition de table externe pour ces données.

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

Les éléments figurant dans ce document JSON sont les suivants :

TableCount : nombre de tables source. Cet exemple comporte une seule table.

Tables : tableau comprenant un mappage JSON par table source. Cet exemple comporte une seule carte. Chaque carte comprend les éléments suivants :

Si vous ne spécifiez pas le contraire, AWS DMS supposez que ColumnLength c'est zéro.

Pour une colonne de type NUMERIC, spécifiez la précision et l'échelle. La précision est le nombre total de chiffres dans un nombre et l'échelle est le nombre de chiffres à droite de la virgule. Vous utilisez les éléments ColumnPrecision et ColumnScale pour cela, comme indiqué ci-après.

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

Pour une colonne de type DATETIME dont les données contiennent des fractions de seconde, spécifiez l’échelle. L’échelle est le nombre de chiffres pour les fractions de seconde. Elle est comprise entre 0 et 9. Vous utilisez l’élément ColumnScale pour cela, comme indiqué ci-après.

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

Si vous ne spécifiez pas le contraire, AWS DMS suppose que ColumnScale c'est zéro et tronque les fractions de secondes.

Utilisation de la CDC avec Amazon S3 en tant que source pour AWS DMS

Après avoir AWS DMS effectué un chargement complet des données, il peut éventuellement répliquer les modifications de données sur le point de terminaison cible. Pour ce faire, vous chargez les fichiers de capture des données de modification (fichiers CDC) dans votre compartiment Amazon S3. AWS DMS lit ces fichiers CDC lorsque vous les téléchargez, puis applique les modifications au point de terminaison cible.

Les fichiers CDC sont nommés comme suit :

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

Pour indiquer où se AWS DMS trouvent les fichiers, spécifiez le cdcPath paramètre. Pour continuer avec l'exemple précédent, si vous définissez cdcPath sur changedata, AWS DMS lit les fichiers CDC correspondant au chemin suivant.

s3://mybucket/changedata

Si vous définissez cdcPath sur changedata et bucketFolder sur myFolder, AWS DMS lit les fichiers CDC au chemin suivant.

s3://mybucket/myFolder/changedata

Les enregistrements figurant dans un fichier CDC sont formatés comme suit :

Voici un exemple de fichier CDC pour une table nommée employee.

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

Conditions préalables à l'utilisation d'Amazon S3 comme source pour AWS DMS

Pour utiliser Amazon S3 comme source pour AWS DMS, votre compartiment S3 source doit se trouver dans la même AWS région que l'instance de réplication DMS qui migre vos données. De plus, le compte AWS que vous utilisez pour la migration doit avoir un accès en lecture au compartiment source. Pour les AWS DMS versions 3.4.7 et supérieures, DMS doit accéder au compartiment source via un point de terminaison VPC ou une route publique. Pour plus d'informations sur les points de terminaison VPC, consultez. Configuration de points de terminaison de VPC en tant que points de terminaison sources et cibles AWS DMS

Le rôle AWS Identity and Access Management (IAM) attribué au compte utilisateur utilisé pour créer la tâche de migration doit disposer des autorisations suivantes.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Le rôle AWS Identity and Access Management (IAM) attribué au compte utilisateur utilisé pour créer la tâche de migration doit disposer de l'ensemble d'autorisations suivant si le versionnement est activé sur le compartiment Amazon S3.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Limitations liées à l'utilisation d'Amazon S3 comme source pour AWS DMS

Les limitations suivantes s’appliquent lorsque vous utilisez Amazon S3 en tant que source :

Les limites suivantes s'appliquent lors de l'utilisation de fichiers au format Parquet dans Amazon S3 en tant que source :

Paramètres du point de terminaison pour Amazon S3 en tant que source pour AWS DMS

Vous pouvez utiliser des paramètres de point de terminaison pour configurer la base de données source Amazon S3 comme si vous utilisiez des attributs de connexion supplémentaires. Vous spécifiez les paramètres lorsque vous créez le point de terminaison source à l'aide de la AWS DMS console ou à l'aide de la create-endpoint commande dans le AWS CLI, avec la syntaxe --s3-settings '{"EndpointSetting": "value", ...}' JSON.

Les paramètres de point de terminaison que vous pouvez utiliser avec Amazon S3 en tant que source sont indiqués dans le tableau suivant.

Types de données source pour Amazon S3

Migration de données utilisant Amazon S3 comme source pour les AWS DMS besoins de mappage des données d'Amazon S3 vers AWS DMS des types de données. Pour plus d’informations, consultez Définition de tables externes pour Amazon S3 en tant que source pour AWS DMS.

Pour en savoir plus sur la façon d'afficher le type de données qui est mappé dans la cible, consultez la section concernant le point de terminaison cible que vous utilisez.

Pour plus d'informations sur AWS DMS les types de données, consultezTypes de données pour AWS Database Migration Service.

Les types de AWS DMS données suivants sont utilisés avec Amazon S3 comme source :

Utilisation de fichiers au format Parquet dans Amazon S3 comme source pour AWS DMS

Dans les AWS DMS versions 3.5.3 et ultérieures, vous pouvez utiliser des fichiers au format Parquet dans un compartiment S3 comme source pour la réplication à chargement complet ou la réplication CDC.

DMS prend uniquement en charge les fichiers au format Parquet en tant que source que DMS génère en migrant des données vers un point de terminaison cible S3. Les noms de fichiers doivent être au format pris en charge, sinon DMS ne les inclura pas dans la migration.

Pour les fichiers de données source au format Parquet, ils doivent se trouver dans le dossier et dans la convention de dénomination suivants.

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

Pour les fichiers de données source pour les données CDC au format Parquet, nommez-les et stockez-les en utilisant le dossier et la convention de dénomination suivants.

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Pour accéder aux fichiers au format Parquet, définissez les paramètres de point de terminaison suivants :

Pour plus d'informations sur les paramètres des points de terminaison S3, consultez S3Settings dans la référence de l'AWS Database Migration Service API.

Types de données pris en charge pour les fichiers au format Parquet

AWS DMS prend en charge les types de données source et cible suivants lors de la migration de données à partir de fichiers au format Parquet. Assurez-vous que votre table cible comporte des colonnes contenant les types de données appropriés avant de procéder à la migration.