Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio delle attività AWS DMS

Il monitoraggio è importante per garantire l'affidabilità, la disponibilità e le prestazioni di AWS DMS e delle soluzioni AWS. È consigliabile raccogliere dati di monitoraggio da tutte le parti della soluzione AWS per eseguire più facilmente il debug di guasti in più punti nel caso si verifichino. AWS fornisce diversi strumenti per il monitoraggio delle attività e delle risorse AWS DMS, nonché la risposta a potenziali incidenti.

Per ulteriori informazioni, consulta i seguenti argomenti.

Stato dell'attività

Lo stato dell'attività indica la condizione dell'attività. La tabella seguente mostra i possibili stati di un'attività:

La barra di stato dell'attività fornisce una stima dell'avanzamento dell'attività. La qualità di questa stima dipende dalla qualità delle statistiche della tabella del database di origine; migliori sono le statistiche della tabella, più accurata è la stima. Per le attività con una sola tabella che non prevede alcuna statistica delle righe stimate, non siamo in grado di fornire alcuna stima della percentuale di completamento. In questo caso, lo stato dell'attività e l'indicazione delle righe caricate può essere utilizzata per confermare che l'attività è effettivamente in esecuzione e in avanzamento.

Tieni presente che la colonna "Ultimo aggiornamento" della console DMS indica solo l'ora in cui AWS DMS ha eseguito l'ultimo aggiornamento del record delle statistiche per una tabella. Non indica l'ora dell'ultimo aggiornamento della tabella.

Oltre a utilizzare la console DMS, è possibile generare una descrizione delle attività di replica correnti comprensiva dello stato usando il comando aws dms describe-replication-tasks nella AWS CLI, come illustrato nell'esempio seguente.

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

Stato delle tabelle durante le attività

La console AWS DMS aggiorna le informazioni riguardanti lo stato delle tabelle durante la migrazione. La tabella seguente mostra i valori di stato possibili:

Monitoraggio delle attività di replica usando Amazon CloudWatch

Puoi usare gli allarmi o gli eventi di Amazon CloudWatch per monitorare la migrazione in maniera più efficace. Per ulteriori informazioni su Amazon CloudWatch, consulta Che cosa sono Amazon CloudWatch, Eventi Amazon CloudWatch e File di log Amazon CloudWatch? nella Guida per l'utente di Amazon CloudWatch. Tieni presente che l'utilizzo di Amazon CloudWatch comporterà un addebito.

Se l'attività di replica non crea i log CloudWatch, consulta AWS DMSnon crea registri CloudWatch nella guida alla risoluzione dei problemi.

La console AWS DMS mostra le statistiche CloudWatch di base per ciascuna attività, che includono lo stato dell'attività, la percentuale di completamento, il tempo trascorso e le statistiche delle tabelle, come mostrato di seguito. Seleziona l'attività di replica, quindi scegli la scheda Parametri CloudWatch.

Per visualizzare e modificare le impostazioni del log delle attività CloudWatch scegli Modifica la registrazione delle attività. Per ulteriori informazioni, consulta Registrazione delle impostazioni delle attività.

Quando si seleziona la scheda Statistiche della tabella, la console AWS DMS mostra per ogni tabella le statistiche delle prestazioni, tra cui il numero di inserimenti, eliminazioni e aggiornamenti.

Inoltre, se selezioni un'istanza di replica nella pagina Istanza di replica, puoi visualizzare le metriche relative alle prestazioni dell'istanza selezionando la scheda Parametri CloudWatch.

Parametri di AWS Database Migration Service

AWS DMS fornisce le statistiche per i seguenti elementi:

I parametri dell'attività sono divisi in statistiche tra l'host di replica e l'endpoint di origine e statistiche tra l'host di replica e l'endpoint di destinazione. Puoi determinare le statistiche totali di un'attività unendo due statistiche correlate. Ad esempio, puoi determinare la latenza totale o il ritardo della replica di un'attività combinando i valori CDCLatencySource e CDCLatencyTarget.

I valori dei parametri dell'attività possono essere influenzati dall'attività corrente sul database di origine. Ad esempio, se una transazione è iniziata ma non è stata sottoposta al commit, il parametro CDCLatencySource continua a crescere finché non verrà eseguito il commit della transazione.

Per l'istanza di replica, il parametro FreeableMemory richiede chiarimenti. La memoria liberabile non è un'indicazione della memoria effettiva libera disponibile. È la memoria attualmente in uso che può essere liberata e utilizzata per altri scopi; è una combinazione di buffer e cache in uso sull'istanza di replica.

Sebbene il parametro FreeableMemory non rifletta la memoria effettiva libera disponibile, la combinazione dei parametri FreeableMemory e SwapUsage può indicare se l'istanza di replica è sovraccarica.

Monitora questi due parametri per le seguenti condizioni.

Se si verifica una di queste due condizioni, significa che devi considerare il passaggio a un'istanza di replica di dimensioni maggiori. Devi anche considerare di dover ridurre il numero e il tipo di attività in esecuzione nell'istanza di replica. Le attività di caricamento completo richiedono più memoria di quelle che replicano solo modifiche.

Per stimare approssimativamente i requisiti di memoria effettivi per un'attività di migrazione AWS DMS, è possibile utilizzare i seguenti parametri.

Dopo aver determinato questi valori, puoi utilizzare uno dei seguenti metodi per stimare la quantità di memoria richiesta per l'attività di migrazione. I metodi dipendono dall'opzione scelta per Impostazioni della colonna LOB nell'attività di migrazione.

AWS DMS esegue le conversioni in modo ottimale quando la CPU è disponibile al momento delle conversioni. Il sovraccarico della CPU e la mancanza di risorse CPU sufficienti possono causare migrazioni lente. AWS DMS può richiedere un uso intensivo della CPU, soprattutto quando si eseguono migrazioni e repliche eterogenee, come la migrazione da Oracle a PostgreSQL. In questi casi, la classe di istanza di replica C4 può rappresentare una scelta adeguata. Per ulteriori informazioni, consulta Scelta dell'istanza di replica AWS DMS giusta per la migrazione.

Parametri dell'stanza di replica

Il monitoraggio dell'istanza di replica include le metriche Amazon CloudWatch per le seguenti statistiche.

Parametri dell'attività di replica

Il monitoraggio dell'attività di replica include le metriche per le seguenti statistiche.

Visualizzazione e gestione dei log delle attività AWS DMS

È possibile utilizzare Amazon CloudWatch per registrare le informazioni sulle attività durante un processo di migrazione AWS DMS. Attivare la registrazione quando si selezionano le impostazioni delle attività. Per ulteriori informazioni, consulta Registrazione delle impostazioni delle attività.

Per visualizzare i registri di un'attività eseguita, attenersi alla seguente procedura:

Inoltre, è possibile utilizzare la AWS CLI o l'API AWS DMS per visualizzare le informazioni sui log delle attività. Per farlo, usa il comando describe-replication-instance-task-logs della AWS CLI oppure l'operazione DescribeReplicationInstanceTaskLogs dell'API AWS DMS.

Ad esempio, il seguente comando della AWS CLI mostra i metadati dei log delle attività in formato JSON.

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

Un esempio di risposta del comando è la seguente.

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

In questo tipo di risposta, un unico log dell'attività (mysql-to-ddb) è associato all'istanza di replica. La dimensione del log è 3.726.124 byte.

Puoi utilizzare le informazioni restituite da describe-replication-instance-task-logs per diagnosticare e risolvere eventuali problemi relativi ai log delle attività. Ad esempio, se abiliti la registrazione del log dettagliato del debug per un'attività, la dimensione del log delle attività crescerà rapidamente, consumando potenzialmente tutto lo spazio di archiviazione disponibile sull'istanza di replica e causando la modifica dello stato dell'istanza su storage-full. Con la descrizione dei log delle attività, puoi determinare quelli non più necessari ed eliminarli, liberando spazio di storage.

Per eliminare i log di un'attività, configura l'impostazione DeleteTaskLogs su true. Ad esempio, il JSON seguente elimina i log delle attività quando si modifica un'attività utilizzando il comando modify-replication-task della AWS CLI o l'operazione ModifyReplicationTask dell'API AWS DMS.

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

Registrazione delle chiamate API AWS DMS con AWS CloudTrail

AWS DMS è integrato con AWS CloudTrail, un servizio che offre un record delle operazioni eseguite da un utente, un ruolo o un servizio AWS in AWS DMS. CloudTrail acquisisce tutte le chiamate API per AWS DMS come eventi, incluse le chiamate della console AWS DMS e le chiamate del codice alle operazioni API AWS DMS. Se viene creato un trail, è possibile abilitare la distribuzione continua di eventi CloudTrail in un bucket Amazon S3, inclusi gli eventi per AWS DMS. Se non si configura un trail, è comunque possibile visualizzare gli eventi più recenti nella console di CloudTrail in Event history (Cronologia eventi). Le informazioni raccolte da CloudTrail consentono di determinare la richiesta effettuata ad AWS DMS, l'indirizzo IP da cui è partita la richiesta, l'autore della richiesta, il momento in cui è stata eseguita e altri dettagli.

Per ulteriori informazioni su CloudTrail, consultare la AWS CloudTrailGuida per l'utente di .

Informazioni su AWS DMS in CloudTrail

CloudTrail è abilitato sull'account AWS al momento della sua creazione. Quando si verifica un'attività in AWS DMS, tale attività viene registrata in un evento CloudTrail insieme ad altri eventi di servizio AWS nella Cronologia eventi. È possibile visualizzare, cercare e scaricare gli eventi recenti nell'account AWS. Per ulteriori informazioni, consulta Visualizzazione di eventi mediante la cronologia eventi di CloudTrail.

Per una registrazione continua degli eventi nell'account AWS che includa gli eventi per AWS DMS, creare un trail. Un percorso abilita la distribuzione da parte di CloudTrail dei file di log in un bucket Amazon S3. Per impostazione predefinita, quando si crea un trail nella console, il trail sarà valido in tutte le regioni AWS. Il percorso registra gli eventi da tutte le regioni AWSnella partizione AWS e distribuisce i file di log nel bucket Simple Storage Service (Amazon S3) specificato. Inoltre, è possibile configurare altri servizi AWS per analizzare con maggiore dettaglio e usare i dati evento raccolti nei log CloudTrail. Per ulteriori informazioni, consulta:

Tutte le operazioni AWS DMS vengono registrate da CloudTrail e sono documentate nella documentazione di riferimento delle API di AWS Database Migration Service. Ad esempio, le chiamate alle operazioni CreateReplicationInstance, TestConnection e StartReplicationTask generano voci nei file di log di CloudTrail.

Ogni evento o voce di log contiene informazioni sull'utente che ha generato la richiesta. Le informazioni di identità consentono di determinare quanto segue:

Per ulteriori informazioni, consulta Elemento CloudTrail userIdentity.

Comprensione delle voci dei file di log di AWS DMS

Un trail è una configurazione che consente la distribuzione di eventi come i file di log in un bucket Amazon S3 specificato. I file di log di CloudTrail possono contenere una o più voci di log. Un evento rappresenta una singola richiesta da un'fonte e include informazioni sul operazione richiesta, data e ora dell'operazione, parametri richiesti e così via. I file di log di CloudTrail non sono una traccia stack ordinata delle chiamate pubbliche dell'API, quindi non vengono visualizzati in un ordine specifico.

L'esempio seguente mostra una voce di log di CloudTrail che illustra l'operazione RebootReplicationInstance.

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAYFI33SINADOJJEZW",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

Registrazione di log di contesto AWS DMS

AWS DMS utilizza la registrazione di log di contesto per fornire informazioni su una migrazione in corso. La registrazione di log di contesto scrive nel log CloudWatch dell'attività informazioni come le seguenti:

La registrazione di log di contesto è disponibile solo in AWS DMS 3.5.0 o versioni successive.

AWS DMS attiva la registrazione di log di contesto per impostazione predefinita. Per controllare la registrazione di log di contesto, configura l'impostazione dell'attività EnableLogContext su true o false oppure modifica l'attività nella console.

AWS DMS scrive le informazioni del log di contesto nell'attività di replica del log CloudWatch ogni tre minuti. Assicurati che l'istanza di replica disponga dello spazio sufficiente per il log dell'applicazione. Per ulteriori informazioni sulla gestione dei log delle attività, consulta Visualizzazione e gestione dei log delle attività AWS DMS.

Tipi di oggetto

AWS DMS genera la registrazione di log di contesto in CloudWatch per i seguenti tipi di oggetti.

Esempi di log

In questa sezione sono illustrati esempi di record di log che puoi utilizzare per monitorare la replica e diagnosticarne i problemi.

Esempi di log di connessione

In questa sezione sono illustrati esempi di log che includono gli ID della connessione.

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

Esempi di log di comportamento delle attività

In questa sezione sono illustrati esempi di log relativi al comportamento del log delle attività di replica. Puoi utilizzare queste informazioni per diagnosticare i problemi di replica, ad esempio un'attività nello stato IDLE.

I seguenti log SOURCE_CAPTURE indicano che non ci sono eventi disponibili da leggere nel file di log del database di origine e contengono record TARGET_APPLY che indicano che non ci sono eventi ricevuti dai componenti CDC AWS DMS da applicare al database di destinazione. Questi eventi contengono anche i dettagli di contesto relativi agli eventi applicati in precedenza.

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Esempi di log di istruzioni SQL

In questa sezione sono illustrati esempi di log relativi alle istruzioni SQL eseguite sui database di origine e di destinazione. Le istruzioni SQL presenti nei log mostrano solo l'istruzione e non i dati. Il seguente log TARGET_APPLY mostra un'istruzione INSERT eseguita sulla destinazione.

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Limitazioni

Le seguenti limitazioni si applicano alla registrazione di log di contesto AWS DMS: