Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio delle attività AWS DMS

Il monitoraggio è un elemento importante per mantenere l'affidabilità, la disponibilità e le prestazioni delle AWS DMS AWS soluzioni esistenti. È necessario raccogliere i dati di monitoraggio da tutte le parti della AWS soluzione in modo da poter eseguire più facilmente il debug di un errore multipunto, se si verifica. AWS fornisce diversi strumenti per monitorare le AWS DMS attività e le risorse e rispondere a potenziali incidenti:

Per ulteriori informazioni, consulta i seguenti argomenti.

Stato dell'attività

Lo stato dell'attività indica la condizione dell'attività. La tabella seguente mostra i possibili stati di un'attività:

La barra di stato dell'attività fornisce una stima dell'avanzamento dell'attività. La qualità di questa stima dipende dalla qualità delle statistiche della tabella del database di origine; migliori sono le statistiche della tabella, più accurata è la stima. Per le attività con una sola tabella che non prevede alcuna statistica delle righe stimate, non siamo in grado di fornire alcuna stima della percentuale di completamento. In questo caso, lo stato dell'attività e l'indicazione delle righe caricate può essere utilizzata per confermare che l'attività è effettivamente in esecuzione e in avanzamento.

Tieni presente che la colonna «ultimo aggiornamento» della DMS console indica solo l'ora dell' AWS DMS ultimo aggiornamento del record di statistiche della tabella per una tabella. Non indica l'ora dell'ultimo aggiornamento della tabella.

Oltre a utilizzare la DMS console, è possibile generare una descrizione delle attività di replica correnti, incluso lo stato delle attività, utilizzando il aws dms describe-replication-tasks comando in AWS CLI, come illustrato nell'esempio seguente.

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

Stato delle tabelle durante le attività

La console AWS DMS aggiorna le informazioni riguardanti lo stato delle tabelle durante la migrazione. La tabella seguente mostra i valori di stato possibili:

Monitoraggio delle attività di replica tramite Amazon CloudWatch

Puoi utilizzare gli CloudWatch allarmi o gli eventi di Amazon per monitorare più da vicino la tua migrazione. Per ulteriori informazioni su Amazon CloudWatch, consulta Cosa sono Amazon CloudWatch, Amazon CloudWatch Events e Amazon CloudWatch Logs? nella Amazon CloudWatch User Guide. Tieni presente che l'utilizzo di Amazon è a pagamento CloudWatch.

Se la tua attività di replica non crea CloudWatch registri, consulta AWS DMS non crea registri CloudWatch la guida alla risoluzione dei problemi.

La AWS DMS console mostra CloudWatch le statistiche di base per ogni attività, tra cui lo stato dell'attività, la percentuale di completamento, il tempo trascorso e le statistiche della tabella, come illustrato di seguito. Seleziona l'attività di replica, quindi seleziona la scheda delle CloudWatch metriche.

Per visualizzare e modificare le impostazioni del registro delle CloudWatch attività, scegliete Modifica registrazione delle attività. Per ulteriori informazioni, consulta Registrazione delle impostazioni delle attività.

La console AWS DMS mostra le statistiche delle prestazioni per ogni tabella, tra cui il numero di inserimenti, eliminazioni e aggiornamenti, quando si seleziona la scheda Table statistics (Statistiche tabella).

Inoltre, se si seleziona un'istanza di replica dalla pagina Istanza di replica, è possibile visualizzare le metriche delle prestazioni per l'istanza selezionando la scheda Metriche. CloudWatch

AWS Database Migration Service metriche

AWS DMS fornisce statistiche per i seguenti elementi:

I parametri dell'attività sono divisi in statistiche tra l'host di replica e l'endpoint di origine e statistiche tra l'host di replica e l'endpoint di destinazione. Puoi determinare le statistiche totali di un'attività unendo due statistiche correlate. Ad esempio, è possibile determinare la latenza totale, o ritardo di replica, per un'attività combinando i valori and. CDCLatencySourceCDCLatencyTarget

I valori dei parametri dell'attività possono essere influenzati dall'attività corrente sul database di origine. Ad esempio, se una transazione è iniziata ma non è stata confermata, la CDCLatencySourcemetrica continua a crescere fino al completamento della transazione.

Per l'istanza di replica, la FreeableMemorymetrica richiede un chiarimento. La memoria liberabile non è un'indicazione della memoria effettiva libera disponibile. È la memoria attualmente in uso che può essere liberata e utilizzata per altri scopi; è una combinazione di buffer e cache in uso sull'istanza di replica.

Sebbene la FreeableMemorymetrica non rifletta l'effettiva memoria libera disponibile, la combinazione dei SwapUsageparametri FreeableMemorye può indicare se l'istanza di replica è sovraccaricata.

Monitora questi due parametri per le seguenti condizioni.

Se si verifica una di queste due condizioni, significa che devi considerare il passaggio a un'istanza di replica di dimensioni maggiori. Devi anche considerare di dover ridurre il numero e il tipo di attività in esecuzione nell'istanza di replica. Le attività di caricamento completo richiedono più memoria di quelle che replicano solo modifiche.

Per stimare approssimativamente i requisiti di memoria effettivi per un'attività di AWS DMS migrazione, puoi utilizzare i seguenti parametri.

Dopo aver determinato questi valori, puoi utilizzare uno dei seguenti metodi per stimare la quantità di memoria richiesta per l'attività di migrazione. Questi metodi dipendono dall'opzione scelta per le impostazioni delle LOB colonne nell'attività di migrazione.

AWS DMS Per eseguire le conversioni in modo ottimale, CPU devono essere disponibili quando si verificano le conversioni. Il sovraccarico CPU e la mancanza di CPU risorse sufficienti possono comportare migrazioni lente. AWS DMS può essere CPU impegnativo, specialmente quando si eseguono migrazioni e repliche eterogenee, come la migrazione da Oracle a Postgre. SQL In questi casi, la classe di istanza di replica C4 può rappresentare una scelta adeguata. Per ulteriori informazioni, consulta Scelta dell'istanza AWS DMS di replica giusta per la migrazione.

Parametri dell'stanza di replica

Il monitoraggio delle istanze di replica include i CloudWatch parametri di Amazon per le seguenti statistiche.

Parametri dell'attività di replica

Il monitoraggio dell'attività di replica include le metriche per le seguenti statistiche.

Visualizzazione e gestione dei registri attività AWS DMS

Puoi utilizzare Amazon CloudWatch per registrare le informazioni sulle attività durante un processo di AWS DMS migrazione. Attivare la registrazione quando si selezionano le impostazioni delle attività. Per ulteriori informazioni, consulta Registrazione delle impostazioni delle attività.

Per visualizzare i registri di un'attività eseguita, attenersi alla seguente procedura:

Inoltre, è possibile utilizzare AWS CLI o AWS DMS API per visualizzare informazioni sui registri delle attività. A tale scopo, utilizzare il describe-replication-instance-task-logs AWS CLI comando o l' AWS DMS APIazioneDescribeReplicationInstanceTaskLogs.

Ad esempio, il AWS CLI comando seguente mostra i metadati del registro delle attività in JSON formato.

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

Un esempio di risposta del comando è la seguente.

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

In questo tipo di risposta, un unico log dell'attività (mysql-to-ddb) è associato all'istanza di replica. La dimensione del log è 3.726.124 byte.

Puoi utilizzare le informazioni restituite da describe-replication-instance-task-logs per diagnosticare e risolvere eventuali problemi relativi ai log delle attività. Ad esempio, se abiliti la registrazione del log dettagliato del debug per un'attività, la dimensione del log delle attività crescerà rapidamente, consumando potenzialmente tutto lo spazio di archiviazione disponibile sull'istanza di replica e causando la modifica dello stato dell'istanza su storage-full. Con la descrizione dei log delle attività, puoi determinare quelli non più necessari ed eliminarli, liberando spazio di storage.

Per eliminare i log di un'attività, configura l'impostazione DeleteTaskLogs su true. Ad esempio, quanto segue JSON elimina i registri delle attività quando si modifica un'attività utilizzando il AWS CLI modify-replication-task comando o l'azione. AWS DMS API ModifyReplicationTask

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

Registrazione delle chiamate con AWS DMS API AWS CloudTrail

AWS DMS è integrato con AWS CloudTrail, un servizio che fornisce una registrazione delle azioni intraprese da un utente, un ruolo o un AWS servizio in AWS DMS. CloudTrail acquisisce tutte le API chiamate AWS DMS come eventi, incluse le chiamate dalla AWS DMS console e dalle chiamate in codice alle AWS DMS API operazioni. Se crei un trail, puoi abilitare la distribuzione continua di CloudTrail eventi a un bucket Amazon S3, inclusi gli eventi per. AWS DMS Se non configuri un percorso, puoi comunque visualizzare gli eventi più recenti nella CloudTrail console nella cronologia degli eventi. Utilizzando le informazioni raccolte da CloudTrail, puoi determinare a quale richiesta è stata inviata AWS DMS, l'indirizzo IP da cui è stata effettuata la richiesta, chi ha effettuato la richiesta, quando è stata effettuata e dettagli aggiuntivi.

Per ulteriori informazioni CloudTrail, consulta la Guida AWS CloudTrail per l'utente.

AWS DMS informazioni in CloudTrail

CloudTrail è abilitato sul tuo AWS account al momento della creazione dell'account. Quando si verifica un'attività in AWS DMS, tale attività viene registrata in un CloudTrail evento insieme ad altri eventi AWS di servizio nella cronologia degli eventi. Puoi visualizzare, cercare e scaricare gli eventi recenti nel tuo AWS account. Per ulteriori informazioni, consulta Visualizzazione degli eventi con cronologia degli CloudTrail eventi.

Per una registrazione continua degli eventi nel tuo AWS account, inclusi gli eventi di AWS DMS, crea un percorso. Un trail consente di CloudTrail inviare file di log a un bucket Amazon S3. Per impostazione predefinita, quando crei un percorso nella console, il percorso si applica a tutte le AWS regioni. Il trail registra gli eventi di tutte le AWS regioni della AWS partizione e consegna i file di log al bucket Amazon S3 specificato. Inoltre, puoi configurare altri AWS servizi per analizzare ulteriormente e agire in base ai dati sugli eventi raccolti nei log. CloudTrail Per ulteriori informazioni, consultare:

Tutte AWS DMS le azioni vengono registrate CloudTrail e documentate nel Reference.AWS Database Migration Service API Ad esempio, le chiamate a TestConnection e CreateReplicationInstance le StartReplicationTask azioni generano voci nei file di CloudTrail registro.

Ogni evento o voce di log contiene informazioni sull'utente che ha generato la richiesta. Le informazioni di identità consentono di determinare quanto segue:

Per ulteriori informazioni, vedete l'CloudTrail userIdentityelemento.

Comprendere AWS DMS le voci dei file di registro

Un trail è una configurazione che consente la distribuzione di eventi come file di log in un bucket Amazon S3 specificato dall'utente. CloudTrail i file di registro contengono una o più voci di registro. Un evento rappresenta una singola richiesta proveniente da qualsiasi fonte e include informazioni sull'azione richiesta, la data e l'ora dell'azione, i parametri della richiesta e così via. CloudTrail i file di registro non sono una traccia ordinata dello stack delle API chiamate pubbliche, quindi non vengono visualizzati in un ordine specifico.

L'esempio seguente mostra una voce di CloudTrail registro che illustra l'RebootReplicationInstanceazione.

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAIOSFODNN7EXAMPLE",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

AWS DMS Registrazione del contesto

AWS DMS utilizza la registrazione contestuale per fornire informazioni su una migrazione in corso. La registrazione contestuale scrive informazioni, come le seguenti, nel registro dell'attività: CloudWatch

La registrazione contestuale è disponibile solo nella AWS DMS versione 3.5.0 o successiva.

AWS DMS attiva la registrazione contestuale per impostazione predefinita. Per controllare la registrazione di log di contesto, configura l'impostazione dell'attività EnableLogContext su true o false oppure modifica l'attività nella console.

AWS DMS scrive le informazioni del registro contestuale nell'attività di replica del CloudWatch registro ogni tre minuti. Assicurati che l'istanza di replica disponga dello spazio sufficiente per il log dell'applicazione. Per ulteriori informazioni sulla gestione dei log delle attività, consulta Visualizzazione e gestione dei registri attività AWS DMS.

Tipi di oggetto

AWS DMS produce l'accesso contestuale CloudWatch per i seguenti tipi di oggetti.

Esempi di log

In questa sezione sono illustrati esempi di record di log che puoi utilizzare per monitorare la replica e diagnosticarne i problemi.

Esempi di log di connessione

Questa sezione contiene esempi di log che includono la connessione. IDs

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

Esempi di log di comportamento delle attività

In questa sezione sono illustrati esempi di log relativi al comportamento del log delle attività di replica. Puoi utilizzare queste informazioni per diagnosticare i problemi di replica, ad esempio un'attività nello stato IDLE.

SOURCE_CAPTUREI registri seguenti indicano che non ci sono eventi disponibili da leggere dal file di registro del database di origine e contengono TARGET_APPLY record che indicano che non ci sono eventi ricevuti dai AWS DMS CDC componenti da applicare al database di destinazione. Questi eventi contengono anche i dettagli di contesto relativi agli eventi applicati in precedenza.

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

SQLesempi di log delle istruzioni

Questa sezione contiene esempi di log relativi SQL alle istruzioni eseguite sui database di origine e di destinazione. Le SQL istruzioni visualizzate nei log mostrano solo l'SQListruzione, non i dati. Il seguente log TARGET_APPLY mostra un'istruzione INSERT eseguita sulla destinazione.

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Limitazioni

Le seguenti limitazioni si applicano alla registrazione AWS DMS contestuale: