Utilisation d’une base de données PostgreSQL en tant que source AWS DMS

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Vous pouvez migrer les données d'une ou de plusieurs bases de données PostgreSQL à l'aide de. AWS DMS Avec une base de données PostgreSQL en tant que source, vous pouvez migrer les données vers une autre base de données PostgreSQL ou vers l’une des autres bases de données prises en charge.

Pour plus d'informations sur les versions de PostgreSQL compatibles en tant AWS DMS que source, consultez. Sources pour AWS DMS

AWS DMS prend en charge PostgreSQL pour les types de bases de données suivants :

Vous pouvez utiliser Secure Socket Layers (SSL) pour chiffrer les connexions entre votre point de terminaison PostgreSQL et l’instance de réplication. Pour plus d'informations sur l'utilisation de SSL avec un point de terminaison PostgreSQL, consultez Utilisation du protocole SSL avec AWS Database Migration Service.

Lorsque vous utilisez PostgreSQL en tant que source, la seule exigence de sécurité supplémentaire consiste à ce que le compte d’utilisateur spécifié soit un utilisateur enregistré dans la base de données PostgreSQL.

Pour configurer une base de données PostgreSQL en tant que point de terminaison AWS DMS source, procédez comme suit :

Utilisation de bases de données PostgreSQL autogérées en tant que source dans AWS DMS

Avec une base de données PostgreSQL autogérée comme source, vous pouvez migrer les données vers une autre base de données PostgreSQL ou vers l'une des autres bases de données cibles prises en charge par. AWS DMS La source de base de données peut être une base de données sur site ou un moteur autogéré exécuté sur une instance Amazon EC2 . Vous pouvez utiliser une instance de base de données pour les tâches de chargement complet et pour les tâches de capture des données de modification (CDC).

Conditions préalables à l'utilisation d'une base de données PostgreSQL autogérée en tant que source AWS DMS

Avant de migrer des données à partir d’une base de données source PostgreSQL autogérée, procédez comme suit :

Activation du CDC en utilisant une base de données PostgreSQL autogérée comme source AWS DMS

AWS DMS prend en charge la capture des données de modification (CDC) à l'aide de la réplication logique. Pour activer la réplication logique d’une base de données source PostgreSQL autogérée, définissez les paramètres suivants dans le fichier de configuration postgresql.conf :

Certains paramètres sont statiques et vous ne pouvez les définir qu’au démarrage du serveur. Toute modification apportée à leurs entrées dans le fichier de configuration (pour une base de données autogérée) ou le groupe de paramètres de base de données (pour une base de données RDS for PostgreSQL) est ignorée jusqu’au redémarrage du serveur. Pour de plus amples informations, veuillez consulter la documentation sur PostgreSQL.

Pour plus d’informations sur l’activation de la CDC, consultez Activation de la capture des données de modification (CDC) à l’aide de la réplication logique.

Utilisation de bases de données PostgreSQL AWS gérées en tant que source DMS

Vous pouvez utiliser une instance de base de données PostgreSQL AWS gérée comme source pour. AWS DMS Vous pouvez effectuer à la fois des tâches de chargement complet et des tâches de capture des données de modification (CDC) à l’aide d’une source PostgreSQL gérée par AWS.

Conditions préalables à l'utilisation d'une base de AWS données PostgreSQL gérée comme source DMS

Avant de migrer des données depuis une base de données source AWS PostgreSQL gérée, procédez comme suit :

Activation du CDC avec une instance de base de données PostgreSQL AWS gérée avec AWS DMS

AWS DMS prend en charge le CDC sur les bases de données PostgreSQL Amazon RDS lorsque l'instance de base de données est configurée pour utiliser la réplication logique. Le tableau suivant récapitule la compatibilité de réplication logique de chaque version de AWS PostgreSQL gérée.

Vous ne pouvez pas utiliser les réplicas en lecture RDS PostgreSQL pour la CDC (réplication continue).

Migration d’une base de données Amazon RDS for PostgreSQL sans utiliser le compte d’utilisateur principal

Dans certains cas, vous risquez de ne pas utiliser le compte d’utilisateur principal pour l’instance de base de données Amazon RDS PostgreSQL que vous utilisez en tant que source. Dans ce cas, créez plusieurs objets afin de capturer des événements DDL (data definition language). Vous créez ces objets dans le compte autre que le compte principal, puis vous créez un déclencheur dans le compte utilisateur principal.

Utilisez la procédure suivante pour créer ces objets.

Une fois que vous avez terminé la procédure précédente, vous pouvez créer le point de terminaison source AWS DMS à l'aide du compte OtherThanMaster.

Activation de la capture des données de modification (CDC) à l’aide de la réplication logique

Vous pouvez utiliser la fonctionnalité de réplication logique native de PostgreSQL pour activer la capture des données de modification (CDC) lors de la migration de base de données pour les sources PostgreSQL. Vous pouvez utiliser cette fonctionnalité avec une instance de base de données PostgreSQL autogérée et avec une instance de base de données SQL Amazon RDS for PostgreSQL. Cette approche réduit les temps d’arrêt et permet de garantir que la base de données cible est synchronisée avec la base de données PostgreSQL source.

AWS DMS prend en charge le CDC pour les tables PostgreSQL avec des clés primaires. Si une table n’a pas de clé primaire, les journaux WAL n’incluent pas d’image antérieure de la ligne de base de données. Dans ce cas, DMS ne peut pas mettre à jour la table. Ici, vous pouvez utiliser des paramètres de configuration supplémentaires et l’identité du réplica de table comme solution de contournement. Toutefois, cette approche peut générer des journaux supplémentaires. Nous vous recommandons d’utiliser l’identité du réplica de table comme solution de contournement uniquement après avoir effectué des tests méticuleux. Pour de plus amples informations, veuillez consulter Paramètres de configuration supplémentaires lors de l’utilisation d’une base de données PostgreSQL en tant que source DMS.

Pour le chargement complet et les tâches CDC et CDC uniquement, AWS DMS utilise des emplacements de réplication logiques pour conserver les journaux WAL à des fins de réplication jusqu'à ce qu'ils soient décodés. Au redémarrage (et non à la reprise) pour une tâche de chargement complet + CDC ou une tâche de CDC, l’emplacement de réplication est recréé.

Configuration du plug-in pglogical

Mis en œuvre en tant qu’extension PostgreSQL, le plug-in pglogical est un système et un modèle de réplication logique pour la réplication sélective des données. Le tableau suivant identifie les versions de base de données PostgreSQL source qui prennent en charge le plug-in pglogical.

Avant de configurer pglogical pour l'utiliser avec AWS DMS, activez d'abord la réplication logique pour la capture des données de modification (CDC) sur votre base de données source PostgreSQL.

Une fois la réplication logique activée sur la base de données source PostgreSQL, suivez les étapes ci-dessous pour configurer pglogical en vue de son utilisation avec DMS.

Vous pouvez désormais créer une AWS DMS tâche qui capture les données de modification pour le point de terminaison de votre base de données source PostgreSQL.

Utilisation de points de départ CDC natifs pour configurer la charge CDC d’une source PostgreSQL

Pour activer les points de départ CDC natifs avec PostgreSQL en tant que source, définissez l’attribut de connexion supplémentaire slotName sur le nom d’un emplacement de réplication logique existant lorsque vous créez le point de terminaison. Cet emplacement de réplication logique contient les modifications en cours à partir du moment de la création du point de terminaison, il prend donc en charge la réplication à partir d'un point précédent dans le temps.

PostgreSQL écrit les modifications de base de données dans des fichiers WAL qui sont uniquement ignorés après qu' AWS DMS a réussi à lire les modifications à partir de l'emplacement de réplication logique. L'utilisation d'emplacements de réplication logique permet de protéger les modifications consignées, pour qu’elles ne soient pas supprimées avant d’être consommées par le moteur de réplication.

Toutefois, selon le taux de changement et de consommation, les modifications conservées dans un emplacement de réplication logique peuvent entraîner une utilisation élevée du disque. Nous vous recommandons de définir des alarmes d’utilisation de l’espace dans l’instance PostgreSQL source lorsque vous utilisez des emplacements de réplication logique. Pour de plus amples informations sur l'utilisation de l'attribut de connexion supplémentaire slotName, veuillez consulter Paramètres du point de terminaison et attributs de connexion supplémentaires (ECAs) lors de l'utilisation de PostgreSQL comme source DMS.

La procédure suivante décrit cette approche plus en détail.

Lorsque vous utilisez des points de départ CDC natifs avec le plug-in pglogical et que vous souhaitez utiliser un nouvel emplacement de réplication, effectuez les étapes de configuration suivantes avant de créer une tâche de CDC.

Vous pouvez désormais créer une tâche de CDC uniquement avec un point de départ natif PostgreSQL à l’aide du nouvel emplacement de réplication. Pour plus d’informations sur le plug-in pglogical, consultez la documentation de pglogical 3.7.

Migration de PostgreSQL vers PostgreSQL à l'aide de AWS DMS

Lorsque vous migrez d'un moteur de base de données autre que PostgreSQL vers une base de données PostgreSQL AWS DMS , c'est presque toujours le meilleur outil de migration à utiliser. En revanche, lorsque vous effectuez une migration à partir d’une base de données PostgreSQL vers une base de données PostgreSQL, les outils PostgreSQL peuvent être plus efficaces.

Utilisation des outils natifs PostgreSQL pour migrer des données

Nous vous recommandons d’utiliser les outils de migration de base de données PostgreSQL, par exemple pg_dump, dans les conditions suivantes :

L’utilitaire pg_dump utilise la commande COPY pour créer un schéma et un vidage des données d’une base de données PostgreSQL. Le script de vidage généré par pg_dump charge les données dans une base de données portant le même nom et recrée les tables, les index et les clés étrangères. Pour restaurer les données dans une base de données portant un autre nom, utilisez la commande pg_restore et le paramètre -d.

Si vous migrez des données d'une base de données source PostgreSQL exécutée EC2 sur une cible Amazon RDS for PostgreSQL, vous pouvez utiliser le plugin pglogical.

Pour plus d’informations sur l’importation d’une base de données PostgreSQL dans Amazon RDS for PostgreSQL ou Amazon Aurora PostgreSQL-Compatible Edition, consultez https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Procedural.Importing.html.

Utilisation de DMS pour migrer des données de PostgreSQL vers PostgreSQL

AWS DMS peut migrer des données, par exemple, d'une base de données PostgreSQL source installée sur site vers une instance Amazon RDS for PostgreSQL ou Aurora PostgreSQL cible. La migration des types de données PostgreSQL principaux ou de base réussit souvent.

Les types de données pris en charge sur la base de données source mais non pris en charge sur la cible risquent de ne pas réussir à migrer. AWS DMS diffuse certains types de données sous forme de chaînes si le type de données est inconnu. La migration de certains types de données, tels que JSON et XML, peut réussir s'il s'agit de fichiers peu volumineux, mais peut échouer s'il s'agit de documents volumineux.

Lorsque vous effectuez une migration du type de données, prenez en considération ce qui suit :

Le tableau suivant montre les types de données PostgreSQL source et indique si leur migration peut réussir :

Migration de types de données spatiales PostGIS

Les données spatiales identifient les informations géométriques d'un objet ou d'un emplacement dans l'espace. Les bases de données relationnelles objet PostgreSQL prennent en charge les types de données spatiales PostGIS.

Avant de migrer des objets de données spatiales PostgreSQL, assurez-vous que le plug-in PostGIS est activé au niveau global. Cela garantit la AWS DMS création des colonnes de données spatiales source exactes pour l'instance de base de données cible PostgreSQL.

Pour les migrations homogènes de PostgreSQL vers PostgreSQL AWS DMS , prend en charge la migration des types et sous-types d'objets de données géométriques et géographiques (coordonnées géodésiques) de PostGIS tels que les suivants :

Migration depuis Babelfish pour Amazon Aurora PostgreSQL à l'aide de AWS DMS

Vous pouvez migrer les tables sources PostgreSQL de Babelfish for Aurora vers tous les points de terminaison cibles pris en charge à l'aide de. AWS DMS

Lorsque vous créez votre point de terminaison AWS DMS source à l'aide de la console DMS, de l'API ou des commandes CLI, vous définissez la source sur Amazon Aurora PostgreSQL et le nom de la base de données sur. babelfish_db Dans la section Paramètres du point de terminaison, assurez-vous que le DatabaseModeest défini sur Babelfish et que le nom de la base de données Babelfish T-SQL source BabelfishDatabaseNameest défini sur Babelfish. Au lieu d'utiliser le port TCP Babelfish1433, utilisez le port TCP Aurora PostgreSQL. 5432

Vous devez créer vos tables avant de migrer les données afin de vous assurer que DMS utilise les types de données et les métadonnées de table appropriés. Si vous ne créez pas vos tables sur la cible avant d'exécuter la migration, DMS peut créer les tables avec des types de données et des autorisations incorrects.

Ajout de règles de transformation à votre tâche de migration

Lorsque vous créez une tâche de migration pour une source Babelfish, vous devez inclure des règles de transformation garantissant que DMS utilise les tables cibles pré-créées.

Si vous avez défini le mode de migration multi-bases de données lorsque vous avez défini votre cluster Babelfish pour PostgreSQL, ajoutez une règle de transformation qui renomme le nom du schéma en schéma T-SQL. Par exemple, si le nom du schéma T-SQL est le même que dbo celui de votre schéma Babelfish pour PostgreSQLmydb_dbo, renommez le schéma en utilisant une règle de transformation. dbo Pour trouver le nom du schéma PostgreSQL, consultez l'architecture de Babelfish dans le guide de l'utilisateur Amazon Aurora.

Si vous utilisez le mode base de données unique, il n'est pas nécessaire d'utiliser une règle de transformation pour renommer les schémas de base de données. Les noms de schéma PostgreSQL sont mappés aux noms one-to-one de schéma de la base de données T-SQL.

L'exemple de règle de transformation suivant montre comment renommer le nom du schéma de mydb_dbo retour en dbo :

{
    "rules": [
        {
            "rule-type": "transformation",
            "rule-id": "566251737",
            "rule-name": "566251737",
            "rule-target": "schema",
            "object-locator": {
                "schema-name": "mydb_dbo"
            },
            "rule-action": "rename",
            "value": "dbo",
            "old-value": null
        },
        {
            "rule-type": "selection",
            "rule-id": "566111704",
            "rule-name": "566111704",
            "object-locator": {
                "schema-name": "mydb_dbo",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}

Limitations liées à l'utilisation d'un point de terminaison source PostgreSQL avec des tables Babelfish

Les limitations suivantes s'appliquent lors de l'utilisation d'un point de terminaison source PostgreSQL avec des tables Babelfish :

Supprimer AWS DMS des artefacts d'une base de données source PostgreSQL

Pour capturer les événements DDL, AWS DMS crée divers artefacts dans la base de données PostgreSQL lorsqu'une tâche de migration démarre. Lorsque la tâche se termine, vous pouvez supprimer ces objets.

Pour supprimer les artefacts, émettez les instructions suivantes (dans leur ordre d’apparition), où {AmazonRDSMigration} est le schéma dans lequel les artefacts ont été créés. Procédez avec prudence lors de la suppression d’un schéma. Ne supprimez jamais un schéma opérationnel, surtout s'il est public.

drop event trigger awsdms_intercept_ddl;

Le déclencheur d'événements n'appartient pas à un schéma spécifique.

drop function {AmazonRDSMigration}.awsdms_intercept_ddl()
drop table {AmazonRDSMigration}.awsdms_ddl_audit
drop schema {AmazonRDSMigration}

Paramètres de configuration supplémentaires lors de l’utilisation d’une base de données PostgreSQL en tant que source DMS

Vous pouvez ajouter des paramètres de configuration supplémentaires lors de la migration des données d'une base de données PostgreSQL de deux façons :

Utilisation du paramètre de point de MapBooleanAsBoolean terminaison PostgreSQL

Vous pouvez utiliser les paramètres de point de terminaison PostgreSQL pour mapper un booléen en tant que booléen de votre source PostgreSQL à une cible Amazon Redshift. Par défaut, un type BOOLEAN est migré au format varchar(5). Vous pouvez indiquer à MapBooleanAsBoolean d’autoriser PostgreSQL à migrer le type booléen en tant que booléen, comme illustré dans l’exemple suivant.

--postgre-sql-settings '{"MapBooleanAsBoolean": true}'

Notez que vous devez définir ce paramètre à la fois sur les points de terminaison sources et cibles pour qu’il prenne effet.

Étant donné que MySQL n’a pas de type BOOLEAN, utilisez une règle de transformation plutôt que ce paramètre lors de la migration de données BOOLEAN vers MySQL.

Paramètres du point de terminaison et attributs de connexion supplémentaires (ECAs) lors de l'utilisation de PostgreSQL comme source DMS

Vous pouvez utiliser les paramètres du point de terminaison et les attributs de connexion supplémentaires (ECAs) pour configurer votre base de données source PostgreSQL. Vous spécifiez les paramètres du point de terminaison lorsque vous créez le point de terminaison source à l'aide de la AWS DMS console ou à l'aide de la create-endpoint commande dans le AWS CLI, avec la syntaxe --postgre-sql-settings '{"EndpointSetting": "value", ...}' JSON.

Le tableau suivant indique les paramètres du point de terminaison ECAs que vous pouvez utiliser avec PostgreSQL en tant que source.

Limitations de l’utilisation d’une base de données PostgreSQL en tant que source DMS

Les limites suivantes s'appliquent lorsque vous utilisez PostgreSQL comme source pour AWS DMS :

Types de données sources pour PostgreSQL

Le tableau suivant indique les types de données sources PostgreSQL pris en charge lors de l' AWS DMS utilisation et le mappage AWS DMS par défaut vers les types de données.

Pour en savoir plus sur la façon d'afficher le type de données qui est mappé dans la cible, consultez la section concernant le point de terminaison cible que vous utilisez.

Pour plus d'informations sur AWS DMS les types de données, consultezTypes de données pour AWS Database Migration Service.

Utilisation des types de données source LOB pour PostgreSQL

Les tailles de colonne PostgreSQL affectent la conversion des types de données LOB PostgreSQL en types de données AWS DMS . Pour utiliser cela, procédez comme suit pour les types de données AWS DMS  :