Uso de una base de datos de PostgreSQL como un origen de AWS DMS

Puede migrar datos desde una o varias bases de datos de PostgreSQL con AWS DMS. Con una base de datos de PostgreSQL como origen, podrá migrar datos a otra base de datos de PostgreSQL o a una de las bases de datos compatibles.

Para obtener información sobre las versiones de PostgreSQL que AWS DMS admite como origen, consulte Orígenes para AWS DMS.

AWS DMS admite PostgreSQL para estos tipos de bases de datos:

Puede utilizar las capas de conexión segura (SSL) para cifrar las conexiones entre el punto de conexión de PostgreSQL y la instancia de replicación. Para obtener más información sobre el uso de SSL con un punto de enlace de PostgreSQL, consulte Uso de SSL con AWS Database Migration Service.

Como requisito de seguridad adicional cuando se utiliza PostgreSQL como origen, la cuenta de usuario especificada debe ser un usuario registrado en la base de datos de PostgreSQL.

Para configurar una base de datos de PostgreSQL como un punto de conexión de origen de AWS DMS, haga lo siguiente:

Trabajar con bases de datos de PostgreSQL autoadministradas como origen en AWS DMS

Con una base de datos de PostgreSQL autoadministrada como origen, puede migrar datos a otra base de datos de PostgreSQL o a una de las bases de datos de destino compatibles con AWS DMS. El origen de la base de datos puede estar en una base de datos en las instalaciones o un motor autoadministrado en ejecución en una instancia de Amazon EC2. Puede utilizar una instancia de base de datos tanto para tareas de carga completa como para la captura de datos de cambios (CDC).

Requisitos previos para utilizar una base de datos de PostgreSQL autoadministrada como origen de AWS DMS

Antes de migrar datos desde una base de datos de origen de PostgreSQL autoadministrada, haga lo siguiente:

Habilitación de CDC con una base de datos de PostgreSQL autoadministrada como origen de AWS DMS

AWS DMS admite la captura de datos de cambios (CDC) mediante replicación lógica. Para habilitar la replicación lógica en una base de datos de origen de PostgreSQL autoadministrada, establezca los siguientes parámetros y valores en el archivo de configuración postgresql.conf:

Algunos parámetros son estáticos y solo se pueden configurar al iniciar el servidor. Los cambios en las entradas en el archivo de configuración (para una base de datos autoadministrada) o en el grupo de parámetros de base de datos (para una base de datos de RDS para PostgreSQL) se ignoran hasta que se reinicie el servidor. Para obtener más información, consulte la documentación de PostgreSQL.

Para obtener más información acerca de la habilitación de CDC, consulte Habilitación de la captura de datos de cambios (CDC) mediante replicación lógica.

Trabajo con bases de datos de PostgreSQL administradas por AWS como un origen de DMS

Puede utilizar una instancia de base de datos de PostgreSQL administrada por AWS como origen para AWS DMS. Puede realizar tanto tareas de carga completa como tareas de captura de datos de cambios (CDC) mediante un origen de PostgreSQL administrado por AWS.

Requisitos previos para utilizar una base de datos de PostgreSQL administrada por AWS como origen de DMS

Antes de migrar datos desde una base de datos de origen de PostgreSQL administrada por AWS, haga lo siguiente:

Habilitación de CDC con una instancia de base de datos de PostgreSQL administrada por AWS con AWS DMS

AWS DMS admite la CDC en bases de datos de PostgreSQL de Amazon RDS cuando la instancia de base de datos se configura para utilizar la replicación lógica. La siguiente tabla resume la compatibilidad de replicación lógica de cada versión de PostgreSQL administrada por AWS.

No puede usar las réplicas de lectura de RDS PostgreSQL para CDC (replicación continua).

Migración de una base de datos de Amazon RDS para PostgreSQL sin usar la cuenta de usuario principal

En algunos casos, es posible que no utilice la cuenta de usuario principal para la instancia de base de datos de Amazon RDS PostgreSQL que está utilizando como origen. En estos casos, se crean varios objetos para capturar los eventos del lenguaje de definición de datos (DDL). Puede crear estos objetos en una cuenta que no sea la cuenta principal y, a continuación, crear un activador en la cuenta de usuario principal.

Utilice el siguiente procedimiento para crear estos objetos.

Cuando haya completado el procedimiento anterior, puede crear el punto de enlace de origen de AWS DMS utilizando la cuenta OtherThanMaster.

Habilitación de la captura de datos de cambios (CDC) mediante replicación lógica

Puede utilizar la característica de replicación lógica nativa de PostgreSQL para habilitar la captura de datos de cambios (CDC) durante la migración de bases de datos para orígenes de PostgreSQL. Puede utilizar esta característica con una instancia de base de datos SQL de PostgreSQL autoadministrada y también con una instancia de base de datos SQL de Amazon RDS para PostgreSQL. Este enfoque reduce el tiempo de inactividad y le ayuda a asegurar que la base de datos de destino esté sincronizada con la base de datos de PostgreSQL de origen.

AWS DMS admite CDC para tablas de PostgreSQL con claves principales. Si una tabla no tiene una clave principal, los registros de escritura anticipada (WAL) no incluyen una imagen anterior de la fila de la base de datos. En este caso, DMS no puede actualizar la tabla. En este caso, puede utilizar opciones de configuración adicionales y utilizar la identidad de réplica de la tabla como solución alternativa. Sin embargo, este enfoque puede generar registros adicionales. Le recomendamos que utilice la identidad de réplica de la tabla como solución alternativa solo después de realizar pruebas exhaustivas. Para obtener más información, consulte Ajustes de configuración adicionales al utilizar una base de datos de PostgreSQL como origen de DMS.

Para tareas de carga completa y CDC y solo de CDC, AWS DMS utiliza ranuras de replicación lógica para retener los registros de WAL para la replicación hasta que se decodifiquen. Cuando se reinicia (no se reanuda) durante una tarea de carga completa y CDC o una tarea de CDC, se vuelve a crear la ranura de replicación.

Configuración del complemento pglogical

Implementado como una extensión de PostgreSQL, el complemento pglogical es un sistema y modelo de replicación lógica para la replicación selectiva de datos. La siguiente tabla identifica las versiones de base de datos PostgreSQL de origen que admiten el complemento pglogical.

Antes de configurar pglogical para su uso con AWS DMS, habilite primero la replicación lógica para la captura de datos de cambios (CDC) en la base de datos de origen PostgreSQL.

Una vez habilitada la replicación lógica en la base de datos de origen PostgreSQL, siga los siguientes pasos para configurar pglogical para su uso con DMS.

Ahora puede crear una tarea de AWS DMS que realice la captura de datos de cambios para el punto de conexión de la base de datos de origen de PostgreSQL.

Uso de puntos de inicio de CDC nativo para configurar una carga de CDC de un origen de PostgreSQL

Para habilitar puntos de inicio de CDC nativos con PostgreSQL como origen, establezca el atributo de conexión adicional slotName en el nombre de una ranura de replicación lógica existente al crear el punto de conexión. Esta ranura de replicación lógica guarda los cambios continuos desde el momento en que se creó el punto de enlace, por lo que permite replicar desde un punto anterior.

PostgreSQL escribe los cambios de la base de datos en archivos WAL que solamente se descartan cuando AWS DMS lee correctamente los cambios de la ranura de replicación lógica. El uso de ranuras de replicación lógica puede evitar que los cambios registrados se eliminen antes de que el motor de replicación los consuma.

Sin embargo, en función de la tasa de cambio y consumo, los cambios que contiene una ranura de replicación lógica pueden provocar un uso elevado del disco. Se recomienda establecer alarmas de uso de espacio en la instancia de PostgreSQL de origen cuando se utilizan ranuras de replicación lógica. Para obtener más información acerca de cómo establecer el atributo slotName de conexión adicional, consulte Configuración del punto de conexión y atributos de conexión adicionales al usar PostgreSQL como origen de DMS.

En el siguiente procedimiento, se explica este enfoque paso a paso con más detalle.

Si utiliza puntos de partida nativos de CDC con el complemento pglogical y desea utilizar una nueva ranura de replicación, complete los pasos de configuración que se indican a continuación antes de crear una tarea de CDC.

Ahora puede crear una tarea exclusiva de CDC con un punto de partida nativo de PostgreSQL mediante la nueva ranura de replicación. Para obtener más información sobre el complemento de pglogical, consulte la documentación de pglogical 3.7

Migración de PostgreSQL a PostgreSQL con AWS DMS

Al migrar desde un motor de base de datos distinto de PostgreSQL a una base de datos de PostgreSQL, AWS DMS es casi siempre la mejor herramienta de migración que se puede utilizar. Pero cuando migre de una base de datos de PostgreSQL a una base de datos de PostgreSQL, las herramientas de PostgreSQL pueden ser más eficaces.

Uso de herramientas nativas de PostgreSQL para migrar datos

Es recomendable usar las herramientas de migración de bases de datos de PostgreSQL como pg_dump si se dan las condiciones siguientes:

La utilidad pg_dump usa el comando COPY para crear un esquema y un volcado de datos de una base de datos de PostgreSQL. El script de volcado generado por pg_dump carga los datos en una base de datos con el mismo nombre y vuelve a crear las tablas, los índices y las claves externas. Para restaurar los datos en una base de datos con un nombre diferente, use el comando pg_restore y el parámetro -d.

Si va a migrar datos de una base de datos de origen de PostgreSQL que se ejecuta en EC2 a un destino de Amazon RDS para PostgreSQL, puede utilizar el complemento pglogical.

Para obtener más información sobre la importación de una base de datos de PostgreSQL en Amazon RDS para PostgreSQL o Amazon Aurora PostgreSQL-Compatible Edition, consulte https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Procedural.Importing.html.

Uso de DMS para migrar datos de PostgreSQL a PostgreSQL

AWS DMS puede migrar datos, por ejemplo, desde una base de datos de PostgreSQL de origen que esté en las instalaciones en una instancia de Amazon RDS para PostgreSQL o Aurora PostgreSQL de destino. Los tipos de datos de PostgreSQL básicos se migran normalmente sin problemas.

Sin embargo, es posible que aquellos tipos de datos que se admitan en la base de datos de origen, pero no en el destino, no se migren correctamente. AWS DMS transmite en streaming algunos tipos de datos como cadenas si el tipo de datos es desconocido. Algunos tipos de datos, como XML y JSON, se pueden migrar correctamente como archivos pequeños, pero se puede producir un error si los documentos son grandes.

Cuando realice la migración de un tipo de datos, tenga en cuenta lo siguiente:

En la siguiente tabla se muestran los tipos de datos de PostgreSQL de origen y se indica si pueden migrarse correctamente:

Migración de tipos de datos espaciales PostGIS

Los datos espaciales identifican la información de geometría de un objeto o ubicación en el espacio. Las bases de datos relacionales de objetos de PostgreSQL admiten los tipos de datos espaciales PostGIS.

Antes de migrar objetos de datos espaciales de PostgreSQL, asegúrese de que el complemento PostGIS esté habilitado en el nivel global. Al hacerlo, AWS DMS crea las columnas exactas de datos espaciales de origen para la instancia de base de datos de destino de PostgreSQL.

Para las migraciones homogéneas de PostgreSQL a PostgreSQL, AWS DMS admite la migración de tipos y subtipos de objetos de datos geométricos y geográficos (coordenadas geodésicas) de PostGIS, como los siguientes:

Migración de Babelfish a Amazon Aurora PostgreSQL mediante AWS DMS

Puede migrar las tablas de origen de Babelfish para Aurora PostgreSQL a cualquier punto de conexión de destino admitido mediante AWS DMS.

Al crear el punto de conexión de origen de AWS DMS mediante la consola, la API o los comandos de la CLI de DMS, el origen se establece en Amazon Aurora PostgreSQL y el nombre de la base de datos en babelfish_db. En la sección Configuración del punto de conexión, asegúrese de que DatabaseMode esté establecido en Babelfish y BabelfishDatabaseName esté establecido en el nombre de la base de datos T-SQL de Babelfish de origen. En lugar de usar el puerto TCP de Babelfish 1433, utilice el puerto TCP de Aurora PostgreSQL 5432.

Debe crear las tablas antes de migrar los datos para asegurarse de que DMS utiliza los tipos de datos y los metadatos de las tablas correctos. Si no crea las tablas en el destino antes de ejecutar la migración, es posible que DNS cree las tablas con permisos y tipos de datos incorrectos.

Agregar reglas de transformación a la tarea de migración

Al crear una tarea de migración para un origen de Babelfish, debe incluir reglas de transformación que garanticen que DMS utilice las tablas de destino creadas previamente.

Si configuró el modo de migración de bases de datos múltiples al definir el clúster de Babelfish para PostgreSQL, agregue una regla de transformación que cambie el nombre del esquema al del esquema de T-SQL. Por ejemplo, si el nombre del esquema de T-SQL es dbo y el nombre del esquema de Babelfish para PostgreSQL es mydb_dbo, cambie el nombre del esquema a dbo mediante una regla de transformación. Para encontrar el nombre del esquema de PostgreSQL, consulte Arquitectura de Babelfish en la Guía del usuario de Amazon Aurora.

Si utiliza el modo de base de datos única, no necesita una regla de transformación para cambiar el nombre de los esquemas de base de datos. Los nombres de los esquemas de PostgreSQL tienen una asignación uno a uno con los nombres de los esquemas de la base de datos T-SQL.

El siguiente ejemplo de regla de transformación muestra cómo volver a cambiar el nombre del esquema de mydb_dbo a dbo:

{
    "rules": [
        {
            "rule-type": "transformation",
            "rule-id": "566251737",
            "rule-name": "566251737",
            "rule-target": "schema",
            "object-locator": {
                "schema-name": "mydb_dbo"
            },
            "rule-action": "rename",
            "value": "dbo",
            "old-value": null
        },
        {
            "rule-type": "selection",
            "rule-id": "566111704",
            "rule-name": "566111704",
            "object-locator": {
                "schema-name": "mydb_dbo",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}

Restricciones en el uso de un punto de conexión de origen de PostgreSQL con tablas de Babelfish

Las siguientes restricciones se aplican al usar un punto de conexión de origen de PostgreSQL con tablas de Babelfish:

Quitar artefactos de AWS DMS de una base de datos de origen de PostgreSQL

Para capturar eventos DDL, AWS DMS crea varios artefactos en la base de datos de PostgreSQL cuando comienza una tarea de migración. Cuando se complete la tarea, es posible que quiera eliminar estos artefactos.

Para eliminar los artefactos, emita las instrucciones siguientes (en el orden en el que aparecen), donde {AmazonRDSMigration} es el esquema en el que se crearon los artefactos. La operación de ingresar un esquema se debe realizar con su sumo cuidado. No ingrese nunca un esquema operativo, especialmente si es público.

drop event trigger awsdms_intercept_ddl;

El disparador de eventos no pertenece a un esquema específico.

drop function {AmazonRDSMigration}.awsdms_intercept_ddl()
drop table {AmazonRDSMigration}.awsdms_ddl_audit
drop schema {AmazonRDSMigration}

Ajustes de configuración adicionales al utilizar una base de datos de PostgreSQL como origen de DMS

Puede añadir parámetros de configuración adicionales cuando migre datos desde una base de datos de PostgreSQL de dos maneras:

Uso de la configuración del punto de conexión MapBooleanAsBoolean de PostgreSQL

Puede usar la configuración del punto de conexión de PostgreSQL para asignar un booleano como booleano desde el origen de PostgreSQL a un destino de Amazon Redshift. De forma predeterminada, un tipo BOOLEANO se migra como varchar(5). Puede especificar MapBooleanAsBoolean para permitir que PostgreSQL migre el tipo booleano como booleano, como se muestra en el siguiente ejemplo.

--postgre-sql-settings '{"MapBooleanAsBoolean": true}'

Tenga en cuenta que debe establecer esta configuración en los puntos de conexión de origen y destino para que surta efecto.

Como MySQL no tiene un tipo BOOLEANO, utilice una regla de transformación en lugar de esta configuración al migrar datos BOOLEANOS a MySQL.

Configuración del punto de conexión y atributos de conexión adicionales al usar PostgreSQL como origen de DMS

Puede utilizar la configuración del punto de conexión y los atributos de conexión adicionales para configurar la base de datos de origen de PostgreSQL. La configuración del punto de conexión se especifica al crear el punto de conexión de origen mediante la consola de AWS DMS o mediante el comando create-endpoint en la AWS CLI, con la sintaxis JSON --postgre-sql-settings '{"EndpointSetting": "value", ...}'.

La siguiente tabla muestra la configuración del punto de conexión y los atributos de conexión adicionales que puede utilizar con PostgreSQL como origen.

Restricciones en el uso de una base de datos de PostgreSQL como origen de DMS

Al utilizar PostgreSQL como origen para AWS DMS se aplican las siguientes restricciones:

Tipos de datos de origen para PostgreSQL

En la siguiente tabla se muestran los tipos de datos de origen de PostgreSQL compatibles cuando se utiliza AWS DMS y el mapeo predeterminado de los tipos de datos de AWS DMS.

Para obtener más información sobre cómo ver el tipo de datos que se asigna en el destino, consulte la sección del punto de enlace de destino que esté utilizando.

Para obtener más información sobre los tipos de datos de AWS DMS, consulte Tipos de datos de AWS Database Migration Service.

Trabajo con tipos de datos de origen de LOB para PostgreSQL

Los tamaños de columna de PostgreSQL afectan a la conversión de tipos de datos LOB de PostgreSQL a tipos de datos de AWS DMS. Para trabajar con esto, siga los pasos que se indican a continuación para los tipos de AWS DMS datos siguientes: