Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'une base de données Amazon Redshift en tant que cible pour AWS Database Migration Service

Vous pouvez migrer des données vers des bases de données Amazon Redshift à l'aide d'AWS Database Migration Service. Amazon Redshift est un service d'entreposage de données entièrement géré dans le cloud. Avec une base de données Amazon Redshift en tant que cible, vous pouvez migrer les données provenant de tous les autres bases de données sources prises en charge.

Vous pouvez utiliser Amazon Redshift sans serveur en tant que cible pour AWS DMS. Pour plus d'informations, consultez Utilisation d'AWS DMS avec Amazon Redshift sans serveur en tant que cible, ci-après.

Le cluster Amazon Redshift doit se trouver dans le même compte AWS et la même région AWS que l'instance de réplication.

Lors d'une migration de base de données vers Amazon Redshift, AWS DMS déplace d'abord les données dans un compartiment Amazon S3. Une fois que les fichiers se trouvent dans un compartiment Amazon S3, AWS DMS les transfère vers les tables appropriés dans l'entrepôt des données Amazon Redshift. AWS DMS crée le compartiment S3 dans la même région AWS que la base de données Amazon Redshift. L'instance de réplication AWS DMS doit se trouver dans cette même région AWS.

Si vous utilisez AWS CLI ou l'API DMS pour migrer les données vers Amazon Redshift, configurez un rôle AWS Identity and Access Management (IAM) pour autoriser l'accès à S3. Pour plus d'informations sur la création de ce rôle IAM, consultez Création des IAM rôles à utiliser avec AWS CLI et AWS DMS API.

Le point de terminaison Amazon Redshift automatise complètement les éléments suivants :

AWS Database Migration Service prend en charge les opérations de chargement complet et de traitement des modifications. AWS DMS lit les données de la base de données source et crée une série de fichiers de valeurs séparées par des virgules (.csv). Pour les opérations de chargement complet, AWS DMS crée des fichiers pour chaque table. AWS DMS copie ensuite les fichiers de chaque table dans un dossier distinct dans Amazon S3. Lorsque les fichiers sont chargés dans Amazon S3, AWS DMS envoie une commande de copie et les données des fichiers sont copiées dans Amazon Redshift. Pour les opérations de traitement des modifications, AWS DMS copie les modifications nettes dans les fichiers .csv. AWS DMS charge ensuite les fichiers de modifications nettes sur Amazon S3 et copie les données dans Amazon Redshift.

Pour plus de détails sur l'utilisation d'Amazon Redshift en tant que cible pour AWS DMS, consultez les sections suivantes :

Conditions requises pour l'utilisation d'une base de données Amazon Redshift en tant que cible pour AWS Database Migration Service

La liste suivante décrit les conditions requises pour l'utilisation d'Amazon Redshift en tant que cible pour la migration des données :

Privilèges requis pour utiliser Redshift en tant que cible

Utilisez la commande GRANT pour définir les privilèges d'accès pour un utilisateur ou un groupe d'utilisateurs. Les privilèges incluent les options d'accès telles que pouvoir lire les données des tables et des vues, écrire des données et créer des tables. Pour plus d'informations sur l'utilisation de GRANT avec Amazon Redshift, consultez GRANT dans le Guide du développeur de base de données Amazon Redshift.

La syntaxe suivante s'applique à accorder des privilèges spécifiques pour une table, une base de données, un schéma, une fonction, une procédure ou des privilèges de niveau langue sur les tables et les vues Amazon Redshift.

GRANT { { SELECT | INSERT | UPDATE | DELETE | REFERENCES } [,...] | ALL [ PRIVILEGES ] }
    ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | TEMPORARY | TEMP } [,...] | ALL [ PRIVILEGES ] }
    ON DATABASE db_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | USAGE } [,...] | ALL [ PRIVILEGES ] }
    ON SCHEMA schema_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { FUNCTION function_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL FUNCTIONS IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { PROCEDURE procedure_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL PROCEDURES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT USAGE 
    ON LANGUAGE language_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]             

La syntaxe suivante s'applique aux privilèges de niveau colonne sur les tables et les vues Amazon Redshift.

GRANT { { SELECT | UPDATE } ( column_name [, ...] ) [, ...] | ALL [ PRIVILEGES ] ( column_name [,...] ) }
     ON { [ TABLE ] table_name [, ...] }
     TO { username | GROUP group_name | PUBLIC } [, ...]            

Voici la syntaxe du privilège ASSUMEROLE accordé aux utilisateurs et aux groupes ayant un rôle spécifié.

GRANT ASSUMEROLE
    ON { 'iam_role' [, ...] | ALL }
    TO { username | GROUP group_name | PUBLIC } [, ...]
    FOR { ALL | COPY | UNLOAD } [, ...]    

Limitations de l'utilisation d'Amazon Redshift en tant que cible pour AWS Database Migration Service

Les limitations suivantes s'appliquent lors de l'utilisation d'une base de données Amazon Redshift en tant que cible :

Configuration d'une base de données Amazon Redshift en tant que cible pour AWS Database Migration Service

AWS Database Migration Service doit être configuré pour fonctionner avec l'instance Amazon Redshift. Le tableau suivant décrit les propriétés de configuration disponibles pour le point de terminaison Amazon Redshift.

Si vous souhaitez ajouter des attributs de chaîne de connexion supplémentaires au point de terminaison Amazon Redshift, vous pouvez spécifier les attributs maxFileSize et fileTransferUploadStreams. Pour plus d'informations sur ces attributs, consultez la page Paramètres de point de terminaison lors de l'utilisation d'Amazon Redshift en tant que cible pour AWS DMS.

Utilisation du routage VPC amélioré avec Amazon Redshift en tant que cible pour AWS Database Migration Service

Si vous utilisez le routage VPC amélioré avec votre cible Amazon Redshift, l'ensemble du trafic COPY entre votre cluster Amazon Redshift et vos référentiels de données passe par votre VPC. Étant donné que le routage VPC amélioré affecte la manière dont Amazon Redshift accède aux autres ressources, les commandes COPY risquent d'échouer si vous n'avez pas configuré correctement votre VPC.

AWS DMS peut être affecté par ce comportement, car il utilise la commande COPY pour déplacer des données dans S3 vers un cluster Amazon Redshift.

Voici les étapes exécutées par AWS DMS pour charger des données dans une cible Amazon Redshift :

Si le routage VPC amélioré n'est pas activé, Amazon Redshift route le trafic via Internet, y compris le trafic vers d'autres services au sein du réseau AWS. Si la fonction n'est pas activée, vous n'avez pas à configurer le chemin d'accès réseau. Si la fonction est activée, vous devez créer spécifiquement un chemin d'accès réseau entre le VPC de votre cluster et vos ressources de données. Pour plus d'informations sur la configuration requise, consultez Routage VPC amélioré dans la documentation d'Amazon Redshift.

Création et utilisation de clés AWS KMS pour chiffrer les données cibles Amazon Redshift

Vous pouvez chiffrer vos données cibles transmises à Amazon S3 avant de les copier sur Amazon Redshift. Pour ce faire, vous pouvez créer et utiliser des clés AWS KMS personnalisées. Vous pouvez utiliser la clé que vous avez créée pour chiffrer vos données cibles à l'aide de l'un des mécanismes suivants lorsque vous créez le point de terminaison cible Amazon Redshift :

Pour chiffrer des données cibles Amazon Redshift à l'aide d'une clé KMS, vous avez besoin d'un rôle AWS Identity and Access Management (IAM) qui dispose des autorisations pour accéder aux données Amazon Redshift. Ce rôle IAM est ensuite accessible dans une stratégie (stratégie de clé) attachée à la clé de chiffrement que vous créez. Pour ce faire, créez les éléments suivants dans votre console IAM :

Les procédures suivantes décrivent la marche à suivre.

Vous avez désormais créé le nouveau rôle pour accéder aux ressources Amazon Redshift en vue du chiffrement avec un nom spécifié, par exemple DMS-Redshift-endpoint-access-role.

Vous venez de créer une nouvelle clé KMS avec un alias spécifié (par exemple, DMS-Redshift-endpoint-encryption-key). Cette clé permet à AWS DMS de chiffrer les données cibles Amazon Redshift.

Paramètres de point de terminaison lors de l'utilisation d'Amazon Redshift en tant que cible pour AWS DMS

Vous pouvez utiliser des paramètres de point de terminaison pour configurer la base de données cible Amazon Redshift comme si vous utilisiez des attributs de connexion supplémentaires. Vous spécifiez les paramètres lorsque vous créez le point de terminaison cible à l'aide de la console AWS DMS ou à l'aide de la commande create-endpoint dans AWS CLI, avec la syntaxe JSON --redshift-settings '{"EndpointSetting": "value", ...}'.

Les paramètres de point de terminaison que vous pouvez utiliser avec Amazon Redshift en tant que cible sont indiqués dans le tableau suivant.

Utilisation d'une clé de chiffrement des données et d'un compartiment Amazon S3 comme stockage intermédiaire

Vous pouvez utiliser les paramètres de point de terminaison cible Amazon Redshift pour configurer les éléments suivants :

Paramètres de clé KMS pour le chiffrement des données

Les exemples suivants illustrent la configuration d'une clé KMS personnalisée pour chiffrer vos données transmises à S3. Pour commencer, vous pouvez effectuer l'appel create-endpoint suivant à l’aide de l'AWS CLI.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1"}'

Ici, l'objet JSON spécifié par l'option --redshift-settings définit deux paramètres. Le premier est le paramètre EncryptionMode avec la valeur SSE_KMS. L'autre est le paramètre ServerSideEncryptionKmsKeyId avec la valeur arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1. Cette valeur est un Amazon Resource Name (ARN) pour votre clé KMS personnalisée.

Par défaut, le chiffrement de données S3 a lieu à l’aide du chiffrement côté serveur S3. Pour la cible Amazon Redshift de l'exemple précédent, cela équivaut à spécifier ses paramètres de point de terminaison, comme dans l'exemple suivant.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_S3"}'

Pour plus d'informations sur l'utilisation du chiffrement côté serveur S3, consultez Protection des données à l'aide du chiffrement côté serveur dans le Guide de l'utilisateur Amazon Simple Storage Service.

Paramètres du compartiment Amazon S3

Lorsque vous migrez des données vers un point de terminaison cible Amazon Redshift, AWS DMS utilise un compartiment Amazon S3 par défaut comme stockage de tâche intermédiaire avant de copier les données migrées dans Amazon Redshift. Par exemple, les exemples indiqués pour la création d'un point de terminaison cible Amazon Redshift avec une clé de chiffrement des données AWS KMS utilisent ce compartiment S3 par défaut (voir Paramètres de clé KMS pour le chiffrement des données).

Vous pouvez plutôt spécifier un compartiment S3 pour ce stockage intermédiaire en incluant les paramètres suivants dans la valeur de votre option --redshift-settings dans la commande create-endpoint de l’AWS CLI :

L'exemple suivant montre comment utiliser ces paramètres pour spécifier un compartiment Amazon S3 personnalisé dans l'appel create-endpoint suivant à l'aide d'AWS CLI.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", 
"BucketName": "your-bucket-name", "BucketFolder": "your-bucket-folder-name"}'

Paramètres de tâche multithread pour Amazon Redshift

Vous pouvez améliorer les performances des tâches de chargement complet et de capture des données de modification (CDC) pour un point de terminaison cible Amazon Redshift en utilisant des paramètres de tâche multithread. Ils vous permettent de spécifier le nombre de threads simultanés et le nombre d'enregistrements à stocker dans un tampon.

Paramètres de tâche de chargement complet multithread pour Amazon Redshift

Pour améliorer les performances de chargement complet, vous pouvez utiliser les paramètres de tâche ParallelLoad* suivants :

Paramètres de tâche de CDC multithread pour Amazon Redshift

Pour améliorer les performances de la CDC, vous pouvez utiliser les paramètres de tâche ParallelApply* suivants :

Le niveau de parallélisme appliqué dépend de la corrélation entre la taille de lot totale et la taille de fichier maximale utilisées pour transférer les données. Lorsque vous utilisez des paramètres de tâche de CDC multithread avec une cible Redshift, vous tirez le meilleur parti lorsque la taille de lot est supérieure à la taille de fichier maximale. Par exemple, vous pouvez utiliser la combinaison suivante de paramètres de point de terminaison et de tâche pour optimiser les performances.

// Redshift endpoint setting
                
        MaxFileSize=250000;

// Task settings

        BatchApplyEnabled=true;
        BatchSplitSize =8000;
        BatchApplyTimeoutMax =1800;
        BatchApplyTimeoutMin =1800;
        ParallelApplyThreads=32;
        ParallelApplyBufferSize=100;
            

En utilisant les paramètres de l'exemple précédent, un client ayant une charge de travail transactionnelle importante tire le meilleur parti de sa mémoire tampon par lots, qui contient 8 000 enregistrements, est remplie en 1 800 secondes et utilise 32 threads parallèles avec une taille de fichier maximale de 250 Mo.

Pour de plus amples informations, veuillez consulter Paramètres de réglage du traitement des modifications.

Types de données cibles pour Amazon Redshift

Le point de terminaison Amazon Redshift pour AWS DMS prend en charge la plupart des types de données Amazon Redshift. Le tableau suivant présente les types de données cibles Amazon Redshift qui sont pris en charge lorsque vous utilisez AWS DMS et le mappage par défaut à partir des types de données AWS DMS.

Pour de plus amples informations sur les types de données AWS DMS, veuillez consulter Types de données pour AWS Database Migration Service.

Utilisation d'AWS DMS avec Amazon Redshift sans serveur en tant que cible

AWS DMS prend en charge l'utilisation d'Amazon Redshift sans serveur en tant que point de terminaison cible. Pour en savoir plus sur l'utilisation d'Amazon Redshift sans serveur, consultez Amazon Redshift sans serveur dans le Guide de gestion Amazon Redshift.

Cette rubrique explique comment utiliser un point de terminaison Amazon Redshift sans serveur avec AWS DMS.

Politique d'approbation avec Amazon Redshift sans serveur en tant que cible

Lorsque vous utilisez Amazon Redshift sans serveur en tant que point de terminaison cible, vous devez ajouter la section surlignée suivante à votre politique d'approbation. Cette politique d'approbation est liée au rôle dms-access-for-endpoint.

{
    "PolicyVersion": {
        "CreateDate": "2016-05-23T16:29:57Z", 
        "VersionId": "v3", 
        "Document": {
        "Version": "2012-10-17", 
        "Statement": [
            {
                "Action": [
                    "ec2:CreateNetworkInterface", 
                    "ec2:DescribeAvailabilityZones", 
                    "ec2:DescribeInternetGateways", 
                    "ec2:DescribeSecurityGroups", 
                    "ec2:DescribeSubnets", 
                    "ec2:DescribeVpcs", 
                    "ec2:DeleteNetworkInterface", 
                    "ec2:ModifyNetworkInterfaceAttribute"
                ], 
                "Resource": "arn:aws:service:region:account:resourcetype/id", 
                "Effect": "Allow"
            },
            {
                "Sid": "",
                "Effect": "Allow",
                "Principal": {
                    "Service": "redshift-serverless.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }, 
    "IsDefaultVersion": true
    }
}

Pour plus d'informations sur l'utilisation d'une politique d'approbation avec AWS DMS, consultez Création des IAM rôles à utiliser avec AWS CLI et AWS DMS API.

Limitations lors de l'utilisation d'Amazon Redshift sans serveur en tant que cible

L'utilisation de Redshift sans serveur en tant que cible présente les limitations suivantes :