Uso de Amazon Timestream como objetivo para AWS Database Migration Service

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Puede utilizarlos AWS Database Migration Service para migrar datos de su base de datos de origen a un punto final de destino de Amazon Timestream, con soporte para migraciones de datos de Full Load y CDC.

Amazon Timestream es un servicio de base de datos de series temporales rápido, escalable y sin servidor creado para la ingesta de datos de gran volumen. Los datos de series temporales son una secuencia de puntos de datos recopilados durante un intervalo de tiempo y se utilizan para medir eventos que cambian con el tiempo. Se utiliza para recopilar, almacenar y analizar métricas de aplicaciones de IoT, DevOps aplicaciones y aplicaciones de análisis. Una vez que tenga los datos en Timestream, podrá visualizar e identificar las tendencias y los patrones de los datos prácticamente en tiempo real. Para obtener más información sobre Amazon Timestream, consulte ¿Qué es Amazon Timestream? en la Guía para desarrolladores de Amazon Timestream.

Requisitos previos para usar Amazon Timestream como objetivo para AWS Database Migration Service

Antes de configurar Amazon Timestream como objetivo, asegúrese AWS DMS de crear un rol de IAM. Esta función debe permitir acceder AWS DMS a los datos que se migran a Amazon Timestream. En la siguiente política de IAM se muestra el conjunto mínimo de permisos de acceso para el rol que utilice para migrar a Timestream.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowDescribeEndpoints",
            "Effect": "Allow",
            "Action": [
                "timestream:DescribeEndpoints"
            ],
            "Resource": "*"
        },
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "timestream:ListTables",
                "timestream:DescribeDatabase"
            ],
            "Resource": "arn:aws:timestream:region:account_id:database/DATABASE_NAME"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "timestream:DeleteTable",
                "timestream:WriteRecords",
                "timestream:UpdateTable",
                "timestream:CreateTable"
            ],
            "Resource": "arn:aws:timestream:region:account_id:database/DATABASE_NAME/table/TABLE_NAME"
        }
    ]
} 
        

Si tiene intención de migrar todas las tablas, úselo * TABLE_NAME en el ejemplo anterior.

Tenga en cuenta lo siguiente acerca del uso de Timestream como destino:

Configuración de tareas de carga completa con varios subprocesos

Para ayudar a aumentar la velocidad de transferencia de datos, AWS DMS admite una tarea de migración a carga completa y multiproceso a un punto final de destino de Timestream con la siguiente configuración de tareas:

Configuración de tareas de carga de CDC con varios subprocesos

Para promover el desempeño de los CDC, AWS DMS es compatible con las siguientes configuraciones de tareas:

Configuración del punto final cuando se utiliza Timestream como objetivo para AWS DMS

Puede utilizar la configuración de punto de conexión para configurar la base de datos de destino de Timestream de forma similar al uso de atributos de conexión adicionales. Los ajustes se especifican al crear el punto final de destino mediante la AWS DMS consola o mediante el create-endpoint comando del AWS CLI, con la sintaxis --timestream-settings '{"EndpointSetting": "value", ...}' JSON.

La siguiente tabla muestra la configuración de punto de conexión que puede utilizar con Timestream como destino.

Creación y modificación de un punto de conexión de destino de Amazon Timestream

Una vez que haya creado un rol de IAM y establecido el conjunto mínimo de permisos de acceso, podrá crear un punto final de destino de Amazon Timestream AWS DMS mediante la consola o create-endpoint mediante el comando de, con la sintaxis AWS CLIJSON. --timestream-settings '{"EndpointSetting": "value", ...}'

En los siguientes ejemplos se muestra cómo crear y modificar un punto de conexión de destino de Timestream con la AWS CLI.

Crear comando de punto de conexión de destino de Timestream

aws dms create-endpoint —endpoint-identifier timestream-target-demo
--endpoint-type target —engine-name timestream
--service-access-role-arn arn:aws:iam::123456789012:role/my-role
--timestream-settings
{
    "MemoryDuration": 20,
    "DatabaseName":"db_name",
    "MagneticDuration": 3,
    "CdcInsertsAndUpdates": true,
    "EnableMagneticStoreWrites": true,
}

Modificar el comando de punto de conexión de destino de Timestream

aws dms modify-endpoint —endpoint-identifier timestream-target-demo
--endpoint-type target —engine-name timestream
--service-access-role-arn arn:aws:iam::123456789012:role/my-role
--timestream-settings
{
    "MemoryDuration": 20,
    "MagneticDuration": 3,
}

Uso de la asignación de objetos para migrar datos a un tema de Timestream

AWS DMS utiliza reglas de mapeo de tablas para mapear los datos del tema de Timestream de origen al tema de Timestream de destino. Para asignar datos a un tema de destino, se utiliza un tipo de regla de asignación de tablas denominado asignación de objetos. Puede utilizar el mapeo de objetos para definir cómo los registros de datos del origen se asignan a los registros de datos publicados en un tema de Timestream.

Los temas de Timestream no tienen una estructura predeterminada distinta de una clave de partición.

Para crear una regla de mapeo de objetos, se especifica rule-type como object-mapping. Esta regla indica el tipo de mapeo de objetos que desea utilizar. La estructura de la regla es la siguiente.

{
    "rules": [
        {
            "rule-type": "object-mapping",
            "rule-id": "id",
            "rule-name": "name",
            "rule-action": "valid object-mapping rule action",
            "object-locator": {
                "schema-name": "case-sensitive schema name",
                "table-name": ""
            }
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "object-mapping",
            "rule-id": "1",
            "rule-name": "timestream-map",
            "rule-action": "map-record-to-record",
            "target-table-name": "tablename",
            "object-locator": {
                "schema-name": "",
                "table-name": ""
            },
            "mapping-parameters": {
                "timestream-dimensions": [
                    "column_name1",
                     "column_name2"
                ],
                "timestream-timestamp-name": "time_column_name",
                "timestream-multi-measure-name": "column_name1or2",
                "timestream-hash-measure-name":  true or false,
                "timestream-memory-duration": x,
                "timestream-magnetic-duration": y
            }
        }
    ]
}
    

AWS DMS actualmente admite map-record-to-record y map-record-to-document es el único valor válido para el parámetro. rule-action map-record-to-documentLos valores map-record-to-record y especifican lo que AWS DMS ocurre de forma predeterminada con los registros que no se excluyen como parte de la lista de exclude-columns atributos. Estos valores no afectan a los mapeos de atributos en modo alguno.

Utilice map-record-to-record al migrar desde una base de datos relacional a un tema de Timestream. Este tipo de regla utiliza el valor taskResourceId.schemaName.tableName de la base de datos relacional como la clave de partición en el tema de Timestream y crea un atributo para cada columna de la base de datos de origen. Cuando se utilizamap-record-to-record, para cualquier columna de la tabla de origen que no aparezca en la lista de exclude-columns atributos, AWS DMS crea el atributo correspondiente en el tema de destino. Este atributo se crea independientemente de si dicha columna de origen se utiliza en un mapeo de atributos.

Una forma de entender map-record-to-record es verlo en acción. En este ejemplo, imagine que empieza con una fila de una tabla de base de datos relacional con la estructura y los datos siguientes.

Para migrar esta información desde un esquema denominado Test a un tema de Timestream, cree reglas para mapear los datos al tema. La siguiente regla ilustra la operación de asignación.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "rule-action": "include",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "%"
            }
        },
        {
            "rule-type": "object-mapping",
            "rule-id": "2",
            "rule-name": "DefaultMapToTimestream",
            "rule-action": "map-record-to-record",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "Customers"
            }
        }
    ]
}

Dados un tema de Timestream y una clave de partición (en este caso, taskResourceId.schemaName.tableName), a continuación se ilustra el formato de registro resultante al usar nuestros datos de ejemplo en el tema de destino de Timestream:

  {
     "FirstName": "Randy",
     "LastName": "Marsh",
     "StoreId":  "5",
     "HomeAddress": "221B Baker Street",
     "HomePhone": "1234567890",
     "WorkAddress": "31 Spooner Street, Quahog",
     "WorkPhone": "9876543210",
     "DateOfBirth": "02/29/1988"
  }              

Limitaciones al usar Amazon Timestream como objetivo para AWS Database Migration Service

Al utilizar Amazon Timestream como destino se aplican las siguientes restricciones: