As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorar AWS DMStarefas

O monitoramento é uma parte importante da manutenção da confiabilidade, disponibilidade e desempenho do AWS DMS e seu AWS soluções. Você deve coletar dados de monitoramento de todas as partes do seu AWS solução para que você possa depurar mais facilmente uma falha de vários pontos, caso ocorra. AWS fornece várias ferramentas para monitorar seu AWS DMS tarefas e recursos e resposta a possíveis incidentes:

Para obter mais informações, consulte os tópicos a seguir.

Status da tarefa

O status da tarefa indica a condição da tarefa. A tabela a seguir mostra os possíveis status que uma tarefa pode ter:

A barra de status de tarefa fornece uma estimativa do andamento da tarefa. A qualidade dessa estimativa depende da qualidade das estatísticas de tabela do banco de dados de origem: quanto melhores as estatísticas de tabela, mais precisa a estimativa. Para tarefas com apenas uma tabela que não tem estatísticas sobre linhas estimadas, não é possível fornecer qualquer estimativa sobre a porcentagem de conclusão. Nesse caso, o estado da tarefa e a indicação de linhas carregadas podem ser utilizados para confirmar que a tarefa realmente está sendo executada e progredindo.

Observe que a coluna “última atualização” do DMS console indica apenas a hora em que AWS DMS atualizou pela última vez o registro de estatísticas da tabela. Ela não indica a hora da última atualização da tabela.

Além de usar o DMS console, você pode gerar uma descrição das tarefas de replicação atuais, incluindo o status da tarefa, usando o aws dms describe-replication-tasks comando no AWS CLI, conforme mostrado no exemplo a seguir.

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

Estado da tabela durante as tarefas

A ferramenta AWS DMSo console atualiza as informações sobre o estado de suas tabelas durante a migração. A tabela a seguir mostra os possíveis valores para o estado:

Monitorando tarefas de replicação usando a Amazon CloudWatch

Você pode usar CloudWatch os alarmes ou eventos da Amazon para acompanhar mais de perto sua migração. Para obter mais informações sobre a Amazon CloudWatch, consulte O que são Amazon CloudWatch, Amazon CloudWatch Events e Amazon CloudWatch Logs? no Guia do CloudWatch usuário da Amazon. Observe que há uma cobrança pelo uso da Amazon CloudWatch.

Se sua tarefa de replicação não criar CloudWatch registros, consulte o guia AWS DMS não cria CloudWatch registros de solução de problemas.

A ferramenta AWS DMS o console mostra CloudWatch estatísticas básicas para cada tarefa, incluindo o status da tarefa, a porcentagem concluída, o tempo decorrido e as estatísticas da tabela, conforme mostrado a seguir. Selecione a tarefa de replicação e, em seguida, selecione a guia de CloudWatch métricas.

Para visualizar e modificar as configurações do registro de CloudWatch tarefas, escolha Modificar registro de tarefas. Para obter mais informações, consulte Configurações de registro de tarefa.

A ferramenta AWS DMSo console mostra estatísticas de desempenho para cada tabela, incluindo o número de inserções, exclusões e atualizações, quando você seleciona a guia Estatísticas da tabela.

Além disso, se você selecionar uma instância de replicação na página Instância de Replicação, poderá visualizar as métricas de desempenho da instância escolhendo a guia CloudWatch Métricas.

AWS Database Migration Service métricas

AWS O DMS fornece as seguintes estatísticas:

As métricas de tarefas são divididas em estatísticas entre o host de replicação e o endpoint de origem, e estatísticas entre o host de replicação e o endpoint de destino. É possível determinar a estatística total de uma tarefa somando as duas estatísticas relacionadas. Por exemplo, você pode determinar a latência total, ou atraso na réplica, de uma tarefa combinando os valores e. CDCLatencySourceCDCLatencyTarget

Os valores das métricas de uma tarefa podem ser influenciados pela atividade atual do banco de dados de origem. Por exemplo, se uma transação foi iniciada, mas não foi confirmada, a CDCLatencySourcemétrica continua crescendo até que a transação seja confirmada.

Para a instância de replicação, a FreeableMemorymétrica exige esclarecimentos. Memória passível de liberação não é indicação de memória real livre disponível. É a memória que está em uso no momento que pode ser liberada e utilizada para outros fins. É uma combinação de buffers e cache em uso na instância de replicação.

Embora a FreeableMemorymétrica não reflita a memória livre real disponível, a combinação das SwapUsagemétricas FreeableMemorye pode indicar se a instância de replicação está sobrecarregada.

Monitore as seguintes condições destas duas métricas:

Se você encontrar uma dessas duas condições, mude para uma instância de replicação maior. Você também deve reduzir o número e o tipo de tarefas em execução na instância de replicação. Tarefas de carregamento total exigem mais memória do que tarefas que apenas replicam alterações.

Para estimar aproximadamente os requisitos reais de memória para um AWS DMS tarefa de migração, você pode usar os seguintes parâmetros.

Depois de determinar esses valores, é possível utilizar um dos métodos a seguir para estimar a quantidade de memória necessária para a tarefa de migração. Esses métodos dependem da opção escolhida para as configurações de LOB coluna em sua tarefa de migração.

Para AWS DMS para realizar conversões de forma otimizada, eles CPU devem estar disponíveis quando as conversões ocorrerem. Sobrecarregar o CPU e não ter CPU recursos suficientes pode resultar em migrações lentas. AWS DMS pode ser CPU intensivo, especialmente ao realizar migrações e replicações heterogêneas, como migrar do Oracle para o Postgre. SQL A classe da instância de replicação C4 pode ser uma boa opção para essas situações. Para obter mais informações, consulte Escolhendo o certo AWS DMSinstância de replicação para sua migração.

Métricas de instâncias de replicação

O monitoramento de instâncias de replicação inclui CloudWatch métricas da Amazon para as seguintes estatísticas.

Métricas de tarefas de replicação

O monitoramento de tarefas de replicação inclui métricas para as seguintes estatísticas.

Visualizando e gerenciando AWS DMSregistros de tarefas

Você pode usar CloudWatch a Amazon para registrar as informações da tarefa durante um AWS DMS processo de migração. O registro em log é ativado quando você seleciona as configurações de tarefa. Para obter mais informações, consulte Configurações de registro de tarefa.

Para visualizar logs de uma tarefa executada, siga estas etapas:

Além disso, você pode usar o AWS CLI ou AWS DMS APIpara ver informações sobre registros de tarefas. Para fazer isso, use o describe-replication-instance-task-logs AWS CLI comando ou o AWS DMS APIaçãoDescribeReplicationInstanceTaskLogs.

Por exemplo, o seguinte AWS CLI O comando mostra os metadados do registro de tarefas em JSON formato.

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

O seguinte é um exemplo de resposta do comando.

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

Nessa resposta, há um único log de tarefas (mysql-to-ddb) associado à instância de replicação. O tamanho do log é 3.726.124 bytes.

É possível utilizar as informações retornadas por describe-replication-instance-task-logs para diagnosticar e solucionar problemas com logs de tarefas. Por exemplo, se você ativar o log de depuração detalhada de uma tarefa, o log de tarefas crescerá rapidamente, potencialmente consumindo todo o armazenamento disponível na instância de replicação, e fazendo com que o status da instância seja alterado para storage-full. Descrevendo os logs de tarefas, é possível determinar de quais você não precisa mais e excluí-los, liberando espaço de armazenamento.

Para excluir os logs de tarefas de uma tarefa, defina a tarefa com DeleteTaskLogs definido como true. Por exemplo, o seguinte JSON exclui os registros de tarefas ao modificar uma tarefa usando o AWS CLI modify-replication-taskcomando ou o AWS DMS APIModifyReplicationTaskação.

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

Registro em log AWS DMS APIchamadas com AWS CloudTrail

AWS DMS está integrado com AWS CloudTrail, um serviço que fornece um registro das ações realizadas por um usuário, uma função ou um AWS serviço em AWS DMS. CloudTrail captura todas as API chamadas para AWS DMS como eventos, incluindo chamadas do AWS DMS console e de chamadas de código para o AWS DMS APIoperações. Se você criar uma trilha, poderá habilitar a entrega contínua de CloudTrail eventos para um bucket do Amazon S3, incluindo eventos para AWS DMS. Se você não configurar uma trilha, ainda poderá ver os eventos mais recentes no CloudTrail console no Histórico de eventos. Usando as informações coletadas por CloudTrail, você pode determinar a solicitação que foi feita para AWS DMS, o endereço IP do qual a solicitação foi feita, quem fez a solicitação, quando ela foi feita e detalhes adicionais.

Para saber mais sobre CloudTrail, consulte o AWS CloudTrail Guia do usuário.

AWS DMS informações em CloudTrail

CloudTrail está habilitado em seu AWS conta quando você cria a conta. Quando a atividade ocorre em AWS DMS, essa atividade é registrada em um CloudTrail evento junto com outros AWS eventos de serviço no Histórico de eventos. Você pode visualizar, pesquisar e baixar eventos recentes em seu AWS conta. Para obter mais informações, consulte Visualização de eventos com histórico de CloudTrail eventos.

Para um registro contínuo dos eventos em seu AWS conta, incluindo eventos para AWS DMS, crie uma trilha. Uma trilha permite CloudTrail entregar arquivos de log para um bucket do Amazon S3. Por padrão, quando você cria uma trilha no console, a trilha se aplica a todos AWS Regiões. A trilha registra eventos de todos AWS Regiões no AWS particiona e entrega os arquivos de log para o bucket do Amazon S3 que você especificar. Além disso, você pode configurar outros AWS serviços para analisar e agir ainda mais com base nos dados do evento coletados nos CloudTrail registros. Para obter mais informações, consulte:

Todos AWS DMS as ações são registradas CloudTrail e documentadas no AWS Database Migration Service APIReferência. Por exemplo, chamadas para o CreateReplicationInstance TestConnection e StartReplicationTask as ações geram entradas nos arquivos de CloudTrail log.

Cada entrada de log ou evento contém informações sobre quem gerou a solicitação. As informações de identidade ajudam a determinar:

Para obter mais informações, consulte o CloudTrail userIdentityelemento.

Entendendo AWS DMS entradas do arquivo de log

Uma trilha é uma configuração que permite a entrega de eventos como arquivos de log para um bucket do Amazon S3 que você especificar. CloudTrail os arquivos de log contêm uma ou mais entradas de log. Um evento representa uma única solicitação de qualquer fonte e inclui informações sobre a ação solicitada, a data e a hora da ação, os parâmetros da solicitação e assim por diante. CloudTrail os arquivos de log não são um rastreamento de pilha ordenado das API chamadas públicas, portanto, eles não aparecem em nenhuma ordem específica.

O exemplo a seguir mostra uma entrada de CloudTrail registro que demonstra a RebootReplicationInstance ação.

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAYFI33SINADOJJEZW",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

AWS DMS Registro em log de contexto

AWS DMS usa o registro de contexto para fornecer informações sobre uma migração em andamento. O registro de contexto grava informações, como as seguintes, no CloudWatch registro da tarefa:

O registro de contexto só está disponível em AWS DMS versão 3.5.0 ou superior.

AWS DMS ativa o registro de contexto por padrão. Para controlar o log de contexto, defina a configuração da tarefa EnableLogContext como true ou false ou modificando a tarefa no console.

AWS DMS grava as informações do log de contexto na tarefa de replicação do CloudWatch log a cada três minutos. Verifique se a instância de replicação tem espaço suficiente para o log da aplicação. Para obter mais informações sobre como gerenciar logs de tarefas, consulte Visualizando e gerenciando AWS DMSregistros de tarefas.

Tipos de objeto

AWS DMS produz login de contexto CloudWatch para os seguintes tipos de objetos.

Exemplos de logs

Esta seção contém exemplos de registros de log que podem ser utilizados para monitorar a replicação e diagnosticar problemas de replicação.

Exemplos de logs de conexão

Esta seção contém exemplos de log que incluem conexãoIDs.

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

Exemplos de logs de comportamento de tarefas

Esta seção contém exemplos de logs sobre o comportamento do log de tarefas de replicação. É possível utilizar essas informações para diagnosticar problemas de replicação, como uma tarefa no status IDLE.

Os SOURCE_CAPTURE registros a seguir indicam que não há eventos disponíveis para leitura no arquivo de log do banco de dados de origem e contêm TARGET_APPLY registros que indicam que não há eventos recebidos do AWS DMS CDCcomponentes a serem aplicados ao banco de dados de destino. Esses eventos também contêm detalhes de contexto relacionados a eventos aplicados anteriormente.

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

SQLexemplos de registros de instruções

Esta seção contém exemplos de log sobre SQL instruções executadas em bancos de dados de origem e destino. As SQL declarações que você vê nos registros mostram apenas a SQL declaração; elas não mostram os dados. O log de TARGET_APPLY a seguir mostra uma instrução INSERT executada no destino.

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Limitações

As seguintes limitações se aplicam a AWS DMS registro de contexto: