Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de Amazon S3 como origen para AWS DMS

Puede migrar datos desde un bucket de Amazon S3 mediante AWS DMS. Para ello, proporcione acceso a un bucket de Amazon S3 que contenga uno o varios archivos de datos. En ese bucket de S3 incluya un archivo JSON que describa el mapeo entre los datos y las tablas de la base de datos de los datos de esos archivos.

Los archivos de datos de origen deben estar en el bucket de Amazon S3 antes de que comience la carga completa. El nombre del bucket se especifica mediante el parámetro bucketName.

Los archivos de datos de origen pueden tener los siguientes formatos:

En el caso de los archivos de datos de origen en formato de valores separados por comas (.csv), asígneles un nombre con la convención de nomenclatura siguiente. En esta convención, schemaName es el esquema de origen y tableName es el nombre de una tabla dentro de dicho esquema.

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

Por ejemplo, supongamos que los archivos de datos están en mybucket, en la siguiente ruta de Amazon S3.

s3://mybucket/hr/employee

En tiempo de carga, AWS DMS presupone que el nombre del esquema de origen es hr y que el nombre de la tabla de origen es employee.

Además de bucketName (que es necesario), tiene la opción de proporcionar un parámetro bucketFolder para especificar en qué ubicación del bucket de Amazon S3 debe buscar AWS DMS archivos de datos. Prosiguiendo con el ejemplo anterior, si establece bucketFolder en sourcedata, entonces AWS DMS leerá los archivos de datos en la ruta siguiente.

s3://mybucket/sourcedata/hr/employee

Puede especificar el delimitador de columnas, el delimitador de filas, el indicador de valor nulo y otros parámetros mediante los atributos de conexión adicionales. Para obtener más información, consulte Configuración de puntos de conexión para Amazon S3 como origen para AWS DMS.

Puede especificar el propietario de un bucket y evitar saqueos mediante la configuración del punto de conexión de Amazon S3 ExpectedBucketOwner, como se muestra a continuación. A continuación, cuando realice una solicitud para probar una conexión o realizar una migración, S3 comprobará el ID de cuenta del propietario del bucket con el parámetro especificado.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Definición de tablas externas para Amazon S3 como origen para AWS DMS

Además de los archivos de datos, debe indicar también una definición de tabla externa. Una definición de tabla externa es un documento JSON en el que se describe cómo AWS DMS debe interpretar los datos de Amazon S3. El tamaño máximo de este documento es de 2 MB. Si crea un punto de enlace de origen con la consola de administración de AWS DMS, puede escribir el JSON directamente en el cuadro de mapeo de la tabla. Si utiliza la AWS Command Line Interface (AWS CLI) o la API de AWS DMS para realizar migraciones, puede crear un archivo JSON para especificar la definición de tabla externa.

Supongamos que tiene un archivo de datos que contiene la información siguiente.

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

A continuación se muestra un ejemplo de definición de tabla externa para estos datos.

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

Los elementos de este documento JSON son los siguientes:

TableCount: el número de tablas de origen. En este ejemplo, solo hay una tabla.

Tables: una matriz que consta de un mapa JSON por tabla de origen. En este ejemplo, solo hay un mapa. Cada mapa está formado por los siguientes elementos:

Si no especifica lo contrario, AWS DMS presupone que ColumnLength es cero.

Para una columna de tipo NUMERIC, especifique la precisión y la escala. Precisión es el número total de dígitos de un número y escala es el número de dígitos situados a la derecha de la coma decimal. Utilice los elementos ColumnPrecision y ColumnScale para esto, tal y como se muestra a continuación.

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

Para una columna del tipo DATETIME con datos que contienen fracciones de segundos, especifique la escala. La escala es el número de dígitos de las fracciones de segundo y puede oscilar entre 0 y 9. Utilice el elemento de ColumnScale para esto, tal y como se muestra a continuación.

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

Si no especifica lo contrario, AWS DMS asume que ColumnScale es cero y trunca las fracciones de segundo.

Uso de CDC con Amazon S3 como origen para AWS DMS

Una vez que AWS DMS realiza una carga de datos completa, tiene la opción de replicar los cambios de datos en el punto de enlace de destino. Para ello, debe cargar los archivos de captura de datos de cambios (archivos de CDC) en el bucket de Amazon S3. AWS DMS lee estos archivos CDC cuando los carga y, a continuación, aplica los cambios en el punto de conexión de destino.

Las archivos CDC se denominan de la forma siguiente:

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

Para indicar dónde AWS DMS puede encontrar los archivos, especifique el parámetro cdcPath. Prosiguiendo con el ejemplo anterior, si establece cdcPath en changedata, entonces AWS DMS leerá los archivos de CDC en la ruta siguiente.

s3://mybucket/changedata

Si establece cdcPath en changedata y bucketFolder en myFolder, AWS DMS lee los archivos CDC en la siguiente ruta.

s3://mybucket/myFolder/changedata

Los registros de un archivo CDC se formatean de la siguiente manera:

A continuación se muestra un ejemplo de un archivo CDC para una tabla con el nombre employee.

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

Requisitos previos al utilizar Amazon S3 como origen para AWS DMS

Para utilizar Amazon S3 como origen para AWS DMS, el bucket de S3 de origen debe estar en la misma región de AWS que la instancia de replicación de DMS que migra los datos. Además, la cuenta de AWS que utiliza para la migración debe tener acceso de lectura al bucket de origen. Para AWS DMS versión 3.4.7 y posteriores, DMS debe acceder al bucket de origen a través de un punto de conexión de VPC o de una ruta pública. Para obtener información sobre los puntos de conexión de VPC, consulte Configuración de puntos de conexión de VPC como puntos de conexión de origen y destino de AWS DMS.

El rol de AWS Identity and Access Management (IAM) asignado a la cuenta de usuario utilizada para crear la tarea de migración debe tener el siguiente conjunto de permisos.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

El rol de IAM (AWS Identity and Access Management) asignado a la cuenta de usuario utilizada para crear la tarea de migración debe tener el siguiente conjunto de permisos si el control de versiones está habilitado en el bucket de Amazon S3.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Limitaciones del uso de Amazon S3 como origen para AWS DMS

Las siguientes limitaciones se aplican cuando se utiliza Amazon S3 como origen:

Las siguientes limitaciones se aplican al usar archivos de formato Parquet en Amazon S3 como origen:

Configuración de puntos de conexión para Amazon S3 como origen para AWS DMS

Puede utilizar la configuración de punto de conexión para configurar la base de datos de origen de Amazon S3 de forma similar al uso de atributos de conexión adicionales. Se especifican los ajustes cuando se crea el punto de conexión de origen mediante la consola de AWS DMS o mediante el comando create-endpoint en la AWS CLI, con la sintaxis JSON --s3-settings '{"EndpointSetting": "value", ...}'.

La siguiente tabla muestra la configuración de punto de conexión que puede utilizar con Amazon S3 como origen.

Tipos de datos de origen de Amazon S3

La migración de datos que utiliza Amazon S3 como origen para AWS DMS tiene que asignar datos de Amazon S3 a tipos de datos de AWS DMS. Para obtener más información, consulte Definición de tablas externas para Amazon S3 como origen para AWS DMS.

Para obtener más información sobre cómo ver el tipo de datos que se asigna en el destino, consulte la sección del punto de enlace de destino que esté utilizando.

Para obtener más información sobre los tipos de datos de AWS DMS, consulte Tipos de datos de AWS Database Migration Service.

Los siguientes tipos de datos de AWS DMS se utilizan con Amazon S3 como origen:

Uso de archivos con formato Parquet en Amazon S3 como origen para AWS DMS

En AWS DMS versión 3.5.3 y posteriores, puede usar archivos con formato Parquet en un bucket de S3 como origen tanto para la replicación de carga completa como de CDC.

DMS solo admite archivos en formato Parquet como origen que DMS genera al migrar datos a un punto de conexión de destino de S3. Los nombres de los archivos deben estar en el formato compatible; de lo contrario, DMS no los incluirá en la migración.

En el caso de archivos de datos de origen en formato Parquet, estos deben estar en la carpeta y la convención de nomenclatura siguientes.

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

En el caso de archivos de datos de origen para datos CDC en formato Parquet, asígneles un nombre y almacénelos con la carpeta y la convención de nomenclatura siguientes.

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Para acceder a los archivos en formato Parquet, establezca la siguiente configuración de punto de conexión:

Para obtener más información sobre la configuración de los puntos de conexión de S3, consulte S3Settings en la Referencia de la API de AWS Database Migration Service.

Tipos de datos compatibles con los archivos en formato Parquet

AWS DMS admite los siguientes tipos de datos de origen y destino al migrar datos de archivos con formato Parquet. Asegúrese de que la tabla de destino tenga columnas con los tipos de datos correctos antes de realizar la migración.