Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

AWS DMSTareas de supervisión

La supervisión es una parte importante del mantenimiento de la confiabilidad, la disponibilidad y el rendimiento de AWS DMS sus AWS soluciones. Debe recopilar los datos de supervisión de todas las partes de la AWS solución para poder depurar con mayor facilidad una falla multipunto en caso de que se produzca alguna. AWS proporciona varias herramientas para supervisar sus AWS DMS tareas y recursos y responder a posibles incidentes:

Para obtener más información, consulte los siguientes temas.

Estado de una tarea

El estado de una tarea indica su situación. En la siguiente tabla se muestran los posibles estados que puede tener una tarea:

La barra de estado de la tarea proporciona una estimación del avance de la tarea. La calidad de esta estimación depende de la calidad de las estadísticas de la tabla de la base de datos de origen; cuanto mejores sean las estadísticas de la tabla, más precisa será la estimación. Si una tarea solo tiene una tabla que carece de estimación de estadísticas de filas, no podemos proporcionar ningún tipo de cálculo sobre el porcentaje completado. En este caso, puede utilizar el estado de la tarea y la indicación de las filas cargadas para confirmar que la tarea está en ejecución y avanzando.

Tenga en cuenta que la columna «última actualización» de la DMS consola solo indica la hora en que se actualizó por AWS DMS última vez el registro de estadísticas de una tabla. No indica la hora de la última actualización de la tabla.

Además de utilizar la DMS consola, puede generar una descripción de las tareas de replicación actuales, incluido el estado de la tarea, mediante el aws dms describe-replication-tasks comando del AWS CLI, como se muestra en el siguiente ejemplo.

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

Estado de la tabla durante las tareas

La AWS DMS consola actualiza la información relativa al estado de las tablas durante la migración. En la siguiente tabla se muestran los posibles valores de estado:

Supervisión de las tareas de replicación mediante Amazon CloudWatch

Puedes usar CloudWatch las alarmas o los eventos de Amazon para realizar un seguimiento más detallado de tu migración. Para obtener más información sobre Amazon CloudWatch, consulta ¿Qué son Amazon CloudWatch, Amazon CloudWatch Events y Amazon CloudWatch Logs? en la Guía del CloudWatch usuario de Amazon. Ten en cuenta que el uso de Amazon conlleva un cargo CloudWatch.

Si su tarea de replicación no crea CloudWatch registros, consulte AWS DMS no crea registros CloudWatch la guía de solución de problemas.

La AWS DMS consola muestra las CloudWatch estadísticas básicas de cada tarea, incluido el estado de la tarea, el porcentaje completado, el tiempo transcurrido y las estadísticas de la tabla, como se muestra a continuación. Seleccione la tarea de replicación y, a continuación, seleccione la pestaña de CloudWatch métricas.

Para ver y modificar la configuración del registro de CloudWatch tareas, seleccione Modificar el registro de tareas. Para obtener más información, consulte Configuración de las tareas de los registros.

La AWS DMS consola muestra las estadísticas de rendimiento de cada tabla, incluido el número de inserciones, eliminaciones y actualizaciones, al seleccionar la pestaña Estadísticas de la tabla.

Además, si selecciona una instancia de replicación en la página Instancia de replicación, puede ver las métricas de rendimiento de la instancia seleccionando la pestaña de CloudWatch métricas.

AWS Database Migration Service métricas

AWS DMS proporciona estadísticas de lo siguiente:

Las métricas de tareas se dividen en estadísticas entre el host de replicación y el punto de enlace de origen, y estadísticas entre el host de replicación y el punto de enlace de destino. Puede determinar las estadísticas totales para una tarea agregando dos estadísticas relacionadas. Por ejemplo, puede determinar la latencia total, o el retraso de réplica, de una tarea combinando los CDCLatencyTargetvalores CDCLatencySourcey.

Los valores de las métricas de las tareas pueden verse afectados por la actividad en curso en la base de datos de origen. Por ejemplo, si una transacción ha comenzado, pero no se ha confirmado, la CDCLatencySourcemétrica seguirá aumentando hasta que se confirme la transacción.

En el caso de la instancia de replicación, es necesario aclarar la FreeableMemorymétrica. La memoria que se puede liberar no es una indicación de la memoria libre disponible real. Es la memoria que se encuentra actualmente en uso, que puede liberarse y que otros usuarios pueden utilizar; se trata de una combinación de búferes y caché en uso en la instancia de replicación.

Si bien la FreeableMemorymétrica no refleja la memoria libre real disponible, la combinación de las SwapUsagemétricas FreeableMemoryy puede indicar si la instancia de replicación está sobrecargada.

Monitoree estas dos métricas para las siguientes condiciones:

Si detecta alguna de estas dos condiciones, debe sopesar la posibilidad de trasladarse a una instancia de replicación de mayor tamaño. También debe considerar la posibilidad de reducir el número y el tipo de tareas que se ejecutan en la instancia de replicación. Las tareas de carga completa requieren más memoria que las tareas que solo replican los cambios.

Para estimar aproximadamente los requisitos de memoria reales para una tarea de AWS DMS migración, puede utilizar los siguientes parámetros.

Tras determinar estos valores, puede utilizar uno de los siguientes métodos para calcular la cantidad de memoria necesaria para la tarea de migración. Estos métodos dependen de la opción que elija para la configuración de las LOB columnas en la tarea de migración.

AWS DMS Para que las conversiones se realicen de forma óptima, CPU deben estar disponibles cuando se produzcan las conversiones. La sobrecarga CPU y la falta de CPU recursos suficientes pueden provocar migraciones lentas. AWS DMS puede ser CPU intensivo, especialmente cuando se realizan migraciones y replicaciones heterogéneas, como la migración de Oracle a Postgre. SQL El uso de la clase de instancia de replicación C4 puede ser una buena opción para estas situaciones. Para obtener más información, consulte Elegir lo correcto AWS DMSinstancia de replicación para su migración.

Métricas de instancia de replicación

La supervisión de instancias de replicación incluye CloudWatch métricas de Amazon para las siguientes estadísticas.

Métricas de tareas de replicación

El monitoreo de tareas de replicación incluye métricas para las estadísticas siguientes.

Consulta y administración de registros de tareas de AWS DMS

Puedes usar Amazon CloudWatch para registrar la información de las tareas durante un proceso de AWS DMS migración. Se debe habilitar el registro cuando se selecciona la configuración de tareas. Para obtener más información, consulte Configuración de las tareas de los registros.

Para consultar los registros de una tarea que se ha ejecutado, siga estos pasos:

Además, puede usar AWS CLI o AWS DMS API para ver información sobre los registros de tareas. Para ello, utilice el describe-replication-instance-task-logs AWS CLI comando o la AWS DMS API acciónDescribeReplicationInstanceTaskLogs.

Por ejemplo, el siguiente AWS CLI comando muestra los metadatos del registro de tareas en JSON formato.

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

A continuación se muestra un ejemplo de respuesta del comando.

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

En esta respuesta, existe un único log de tareas (mysql-to-ddb) asociado a la instancia de replicación. El tamaño de este log es de 3 726 124 bytes.

Puede utilizar la información que devuelve describe-replication-instance-task-logs para diagnosticar y solucionar problemas con los logs de tareas. Por ejemplo, si habilita el registro de depuración detallado para una tarea, el registro de tareas aumentará de tamaño rápidamente, lo que podría consumir todo el almacenamiento disponible en la instancia de replicación y hacer que estado de la instancia cambie a storage-full. Al describir los registros de tareas, puede determinar cuáles son los que ya no necesita y eliminarlos para liberar espacio de almacenamiento.

Para eliminar los logs de tareas para una tarea, defina la opción DeleteTaskLogs de la tarea en true. Por ejemplo, lo siguiente JSON elimina los registros de tareas al modificar una tarea mediante el AWS CLI modify-replication-task comando o la AWS DMS API ModifyReplicationTask acción.

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

Registrar AWS DMS API llamadas con AWS CloudTrail

AWS DMS está integrado con AWS CloudTrail un servicio que proporciona un registro de las acciones realizadas por un usuario, un rol o un AWS servicio en AWS DMS. CloudTrail captura todas las API llamadas AWS DMS como eventos, incluidas las llamadas desde la AWS DMS consola y desde las llamadas en código a las AWS DMS API operaciones. Si crea una ruta, puede habilitar la entrega continua de CloudTrail eventos a un bucket de Amazon S3, incluidos los eventos para AWS DMS. Si no configura una ruta, podrá ver los eventos más recientes en la CloudTrail consola, en el historial de eventos. Con la información recopilada por usted CloudTrail, puede determinar el destinatario de la solicitud AWS DMS, la dirección IP desde la que se realizó la solicitud, quién la realizó, cuándo se realizó y detalles adicionales.

Para obtener más información CloudTrail, consulte la Guía AWS CloudTrail del usuario.

AWS DMS información en CloudTrail

CloudTrail está habilitada en su AWS cuenta al crear la cuenta. Cuando se produce una actividad en AWS DMS, esa actividad se registra en un CloudTrail evento junto con otros eventos de AWS servicio en el historial de eventos. Puedes ver, buscar y descargar los eventos recientes en tu AWS cuenta. Para obtener más información, consulta Cómo ver eventos con el historial de CloudTrail eventos.

Para tener un registro continuo de los eventos de tu AWS cuenta, incluidos los eventos de tu cuenta AWS DMS, crea una ruta. Un rastro permite CloudTrail entregar archivos de registro a un bucket de Amazon S3. De forma predeterminada, cuando crea una ruta en la consola, la ruta se aplica a todas AWS las regiones. La ruta registra los eventos de todas AWS las regiones de la AWS partición y envía los archivos de registro al bucket de Amazon S3 que especifique. Además, puede configurar otros AWS servicios para analizar más a fondo los datos de eventos recopilados en los CloudTrail registros y actuar en función de ellos. Para obtener más información, consulte:

Todas AWS DMS las acciones se registran CloudTrail y se documentan en la AWS Database Migration Service APIReferencia. Por ejemplo, las llamadas a los CreateReplicationInstance archivos de registro TestConnection y StartReplicationTask las acciones generan entradas en los archivos de CloudTrail registro.

Cada entrada de registro o evento contiene información sobre quién generó la solicitud. La información de identidad del usuario lo ayuda a determinar lo siguiente:

Para obtener más información, consulte el CloudTrail userIdentityelemento.

Descripción de las entradas de los archivos de AWS DMS registro

Un rastro es una configuración que permite la entrega de eventos como archivos de registro a un bucket de Amazon S3 que usted especifique. CloudTrail Los archivos de registro contienen una o más entradas de registro. Un evento representa una solicitud única de cualquier fuente e incluye información sobre la acción solicitada, la fecha y la hora de la acción, los parámetros de la solicitud, etc. CloudTrail Los archivos de registro no son un registro ordenado de las API llamadas públicas, por lo que no aparecen en ningún orden específico.

El siguiente ejemplo muestra una entrada de CloudTrail registro que demuestra la RebootReplicationInstance acción.

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAYFI33SINADOJJEZW",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

AWS DMS Registro de contexto

AWS DMS utiliza el registro de contexto para proporcionarle información sobre una migración en curso. El registro de contexto escribe información, como la siguiente, en el CloudWatch registro de la tarea:

El registro de contexto solo está disponible en AWS DMS la versión 3.5.0 o superior.

AWS DMS activa el registro de contexto de forma predeterminada. Para controlar el registro de contexto, defina la tarea EnableLogContext en true o false o modifique la tarea en la consola.

AWS DMS escribe la información del registro de contexto en la tarea de replicación del CloudWatch registro cada tres minutos. Asegúrese de que la instancia de replicación tenga suficiente espacio para el registro de la aplicación. Para obtener más información sobre la administración de registros de tareas, consulte Consulta y administración de registros de tareas de AWS DMS.

Tipos de objetos

AWS DMS produce el inicio de sesión contextual CloudWatch para los siguientes tipos de objetos.

Ejemplos de registro

Esta sección contiene ejemplos de registros de log que puede utilizar para monitorear la replicación y diagnosticar problemas de replicación.

Ejemplos de registro de conexión

Esta sección contiene ejemplos de registros que incluyen la conexión. IDs

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

Ejemplos de registro del comportamiento de las tareas

Esta sección contiene ejemplos de registros sobre el comportamiento del registro de tareas de replicación. Puede utilizar esta información para diagnosticar problemas de replicación, como una tarea en el estado IDLE.

Los siguientes SOURCE_CAPTURE registros indican que no hay eventos disponibles para leer en el archivo de registro de la base de datos de origen y contienen TARGET_APPLY registros que indican que no hay eventos recibidos de los AWS DMS CDC componentes para aplicarlos a la base de datos de destino. Estos eventos también contienen detalles contextuales relacionados con los eventos aplicados anteriormente.

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

SQLejemplos de registros de declaraciones

Esta sección contiene ejemplos de registros sobre las SQL declaraciones que se ejecutan en las bases de datos de origen y destino. Las SQL declaraciones que ve en los registros solo muestran la SQL declaración; no muestran los datos. El registro TARGET_APPLY siguiente muestra una instrucción INSERT que se ejecutó en el destino.

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Limitaciones

Las siguientes limitaciones se aplican al registro de AWS DMS contexto: