Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS DMSTugas pemantauan

Pemantauan adalah bagian penting dari menjaga keandalan, ketersediaan, dan kinerja AWS DMS dan AWS solusi Anda. Anda harus mengumpulkan data pemantauan dari semua bagian AWS solusi Anda sehingga Anda dapat lebih mudah men-debug kegagalan multi-titik jika terjadi. AWS menyediakan beberapa alat untuk memantau AWS DMS tugas dan sumber daya Anda, dan menanggapi insiden potensial:

Untuk informasi lebih lanjut, lihat topik berikut.

Status Tugas

Status tugas menunjukkan kondisi tugas. Tabel berikut menunjukkan status yang mungkin dapat dimiliki suatu tugas:

Bilah status tugas memberikan estimasi tentang kemajuan tugas. Kualitas estimasi ini tergantung pada kualitas statistik tabel basis data sumber; semakin baik statistik tabel, semakin akurat estimasi. Untuk tugas dengan hanya satu tabel yang tidak memiliki estimasi statistik baris, kita tidak dapat memberikan persentase estimasi lengkap apa pun. Dalam hal ini, gunakan status tugas dan indikasi baris yang dimuat untuk mengonfirmasi bahwa tugas berlangsung dan mengalami kemajuan.

Perhatikan bahwa kolom “terakhir diperbarui” DMS konsol hanya menunjukkan waktu AWS DMS terakhir memperbarui catatan statistik tabel untuk tabel. Ini tidak menunjukkan waktu pembaruan terakhir pada tabel.

Selain menggunakan DMS konsol, Anda dapat menampilkan deskripsi tugas replikasi saat ini, termasuk status tugas, dengan menggunakan aws dms describe-replication-tasks perintah di AWS CLI, seperti yang ditunjukkan pada contoh berikut.

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

Kondisi tabel selama tugas

AWS DMSKonsol memperbarui informasi mengenai status tabel Anda selama migrasi. Tabel berikut menunjukkan kemungkinan nilai keadaan:

Memantau tugas replikasi menggunakan Amazon CloudWatch

Anda dapat menggunakan CloudWatch alarm atau peristiwa Amazon untuk melacak migrasi Anda dengan lebih dekat. Untuk informasi selengkapnya tentang Amazon CloudWatch, lihat Apa itu Amazon CloudWatch, CloudWatch Acara Amazon, dan CloudWatch Log Amazon? di Panduan CloudWatch Pengguna Amazon. Perhatikan bahwa ada biaya untuk menggunakan Amazon CloudWatch.

Jika tugas replikasi Anda tidak membuat CloudWatch log, lihat AWS DMS tidak membuat CloudWatch log di panduan pemecahan masalah.

AWS DMS Konsol menampilkan CloudWatch statistik dasar untuk setiap tugas, termasuk status tugas, persen selesai, waktu berlalu, dan statistik tabel, seperti yang ditunjukkan berikut. Pilih tugas replikasi dan kemudian pilih tab CloudWatch metrik.

Untuk melihat dan mengubah pengaturan log CloudWatch tugas, pilih Ubah pencatatan tugas. Untuk informasi selengkapnya, lihat Pengaturan tugas pengelogan.

AWS DMSKonsol menampilkan statistik kinerja untuk setiap tabel, termasuk jumlah sisipan, penghapusan, dan pembaruan, saat Anda memilih tab Statistik tabel.

Selain itu, jika Anda memilih instance replikasi dari halaman Instance Replikasi, Anda dapat melihat metrik kinerja untuk instance dengan memilih tab metrik. CloudWatch

AWS Database Migration Service metrik

AWS DMSmenyediakan statistik untuk hal-hal berikut:

Metrik tugas dibagi menjadi beberapa statistik antara host replikasi dan titik akhir sumber, dan statistik antara host replikasi dan titik akhir target. Anda dapat menentukan total statistik untuk suatu tugas dengan menambahkan dua statistik terkait bersama-sama. Misalnya, Anda dapat menentukan latensi total, atau lag replika, untuk tugas dengan menggabungkan CDCLatencySourcedan CDCLatencyTargetnilai.

Nilai metrik tugas dapat dipengaruhi oleh aktivitas saat ini di dalam basis data sumber Anda. Misalnya, jika transaksi telah dimulai, tetapi belum dilakukan, maka CDCLatencySourcemetrik terus tumbuh hingga transaksi tersebut dilakukan.

Untuk contoh replikasi, FreeableMemorymetrik memerlukan klarifikasi. Memori bebas bukan indikasi dari memori bebas sebenarnya yang tersedia. Ini merupakan memori yang saat ini digunakan yang dapat dibebaskan dan digunakan untuk kegunaan lain; ini merupakan kombinasi dari buffer dan cache yang digunakan pada instans replikasi.

Meskipun FreeableMemorymetrik tidak mencerminkan memori bebas aktual yang tersedia, kombinasi metrik FreeableMemorydan SwapUsagemetrik dapat menunjukkan apakah instance replikasi kelebihan beban.

Memantau kedua metrik ini untuk syarat-syarat berikut:

Jika Anda melihat salah satu dari dua syarat ini, itu menunjukkan bahwa Anda harus mempertimbangkan pindah ke instans replikasi yang lebih besar. Anda juga harus mempertimbangkan untuk mengurangi jumlah dan tipe tugas yang berlangsung pada instans replikasi. Tugas beban penuh memerlukan lebih banyak memori daripada tugas yang hanya melakukan replikasi perubahan.

Untuk memperkirakan secara kasar persyaratan memori aktual untuk tugas AWS DMS migrasi, Anda dapat menggunakan parameter berikut.

Setelah menentukan nilai ini, Anda dapat menggunakan salah satu metode berikut untuk memperkirakan jumlah memori yang diperlukan untuk tugas migrasi Anda. Metode ini bergantung pada opsi yang Anda pilih untuk pengaturan LOB kolom dalam tugas migrasi Anda.

AWS DMS Untuk melakukan konversi secara optimal, CPU harus tersedia ketika konversi terjadi. Kelebihan beban CPU dan tidak memiliki CPU sumber daya yang cukup dapat mengakibatkan migrasi yang lambat. AWS DMS bisa CPU intensif, terutama saat melakukan migrasi dan replikasi heterogen seperti bermigrasi dari Oracle ke Postgre. SQL Penggunaan kelas instans replikasi C4 dapat menjadi pilihan yang bagus untuk situasi ini. Untuk informasi selengkapnya, lihat Memilih instans replikasi AWS DMS yang tepat untuk migrasi Anda.

Metrik instans replikasi

Pemantauan instans replikasi mencakup CloudWatch metrik Amazon untuk statistik berikut.

Metrik tugas replikasi

Pemantauan tugas replikasi mencakup metrik untuk statistik berikut.

Melihat dan mengelola log AWS DMS tugas

Anda dapat menggunakan Amazon CloudWatch untuk mencatat informasi tugas selama proses AWS DMS migrasi. Anda mengaktifkan untuk mencatat pada pilihan pengaturan tugas. Untuk informasi selengkapnya, lihat Pengaturan tugas pengelogan.

Untuk melihat informasi yang mencatat tugas yang berjalan, ikuti langkah berikut:

Selain itu, Anda dapat menggunakan AWS CLI atau AWS DMS API untuk melihat informasi tentang log tugas. Untuk melakukan ini, gunakan describe-replication-instance-task-logs AWS CLI perintah atau AWS DMS API tindakanDescribeReplicationInstanceTaskLogs.

Misalnya, AWS CLI perintah berikut menunjukkan metadata log tugas dalam JSON format.

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

Respons sampel dari perintah tersebut adalah sebagai berikut.

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

Dalam respon ini, ada yang mencatat tugas tunggal (mysql-to-ddb) yang terkait dengan instans replikasi. Mencatat pengukuran ini yaitu 3,726,124 byte.

Anda dapat menggunakan informasi yang dikembalikan oleh describe-replication-instance-task-logs untuk mendiagnosis dan memecahkan masalah dengan mencatat tugas. Sebagai contoh, jika Anda mengaktifkan untuk mencatat debug detail untuk suatu tugas, dengan mencatat tugas akan berkembang cepat—berpotensi menghabiskan semua penyimpanan yang tersedia pada instans replikasi, dan menyebabkan status instans berubah ke storage-full. Melalui penjelasan dengan mencatat tugas, Anda dapat menentukan mana yang tidak lagi Anda butuhkan; maka Anda dapat menghapusnya, sehingga membebaskan ruang penyimpanan.

Untuk menghapus catatan tugas untuk suatu tugas, tetapkan pengaturan tugas DeleteTaskLogs ke BETUL. Misalnya, berikut ini JSON menghapus log tugas saat memodifikasi tugas menggunakan AWS CLI modify-replication-task perintah atau tindakan. AWS DMS API ModifyReplicationTask

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

Pencatatan AWS DMS API panggilan dengan AWS CloudTrail

AWS DMS terintegrasi dengan AWS CloudTrail, layanan yang menyediakan catatan tindakan yang diambil oleh pengguna, peran, atau AWS layanan di AWS DMS. CloudTrail menangkap semua API panggilan untuk AWS DMS sebagai peristiwa, termasuk panggilan dari AWS DMS konsol dan dari panggilan kode ke AWS DMS API operasi. Jika Anda membuat jejak, Anda dapat mengaktifkan pengiriman CloudTrail acara secara berkelanjutan ke bucket Amazon S3, termasuk acara untuk. AWS DMS Jika Anda tidak mengonfigurasi jejak, Anda masih dapat melihat peristiwa terbaru di CloudTrail konsol dalam Riwayat acara. Dengan menggunakan informasi yang dikumpulkan oleh CloudTrail, Anda dapat menentukan permintaan yang dibuat AWS DMS, alamat IP dari mana permintaan dibuat, siapa yang membuat permintaan, kapan dibuat, dan detail tambahan.

Untuk mempelajari selengkapnya CloudTrail, lihat Panduan AWS CloudTrail Pengguna.

AWS DMS informasi di CloudTrail

CloudTrail diaktifkan di AWS akun Anda saat Anda membuat akun. Ketika aktivitas terjadi di AWS DMS, aktivitas tersebut dicatat dalam suatu CloudTrail peristiwa bersama dengan peristiwa AWS layanan lainnya dalam riwayat Acara. Anda dapat melihat, mencari, dan mengunduh acara terbaru di AWS akun Anda. Untuk informasi selengkapnya, lihat Melihat peristiwa dengan riwayat CloudTrail acara.

Untuk catatan peristiwa yang sedang berlangsung di AWS akun Anda, termasuk acara untuk AWS DMS, buat jejak. Jejak memungkinkan CloudTrail untuk mengirimkan file log ke bucket Amazon S3. Secara default, saat Anda membuat jejak di konsol, jejak tersebut berlaku untuk semua AWS Wilayah. Jejak mencatat peristiwa dari semua AWS Wilayah di AWS partisi dan mengirimkan file log ke bucket Amazon S3 yang Anda tentukan. Selain itu, Anda dapat mengonfigurasi AWS layanan lain untuk menganalisis lebih lanjut dan menindaklanjuti data peristiwa yang dikumpulkan dalam CloudTrail log. Untuk informasi selengkapnya, lihat:

Semua AWS DMS tindakan dicatat oleh CloudTrail dan didokumentasikan dalam AWS Database Migration Service APIReferensi. Misalnya, panggilan keCreateReplicationInstance, TestConnection dan StartReplicationTask tindakan menghasilkan entri dalam file CloudTrail log.

Setiap entri peristiwa atau log berisi informasi tentang siapa yang membuat permintaan tersebut. Informasi identitas membantu Anda menentukan hal berikut:

Untuk informasi lebih lanjut, lihat CloudTrail userIdentityelemen.

Memahami entri file AWS DMS log

Trail adalah konfigurasi yang memungkinkan pengiriman peristiwa sebagai file log ke bucket Amazon S3 yang Anda tentukan. CloudTrail file log berisi satu atau lebih entri log. Peristiwa mewakili permintaan tunggal dari sumber manapun dan mencakup informasi tentang tindakan yang diminta, tanggal dan waktu tindakan, parameter permintaan, dan sebagainya. CloudTrail file log bukanlah jejak tumpukan yang dipesan dari API panggilan publik, sehingga tidak muncul dalam urutan tertentu.

Contoh berikut menunjukkan entri CloudTrail log yang menunjukkan RebootReplicationInstance tindakan.

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAIOSFODNN7EXAMPLE",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

AWS DMS Pencatatan konteks

AWS DMS menggunakan pencatatan konteks untuk memberi Anda informasi tentang migrasi yang sedang berlangsung. Pencatatan konteks menulis informasi, seperti berikut ini, ke CloudWatch log tugas:

Pencatatan konteks hanya tersedia di AWS DMS versi 3.5.0 atau lebih tinggi.

AWS DMS mengaktifkan pencatatan konteks secara default. Untuk mengontrol pencatatan konteks, setel pengaturan EnableLogContext tugas ke true ataufalse, atau dengan memodifikasi tugas di konsol.

AWS DMS menulis informasi log konteks ke tugas replikasi CloudWatch log setiap tiga menit. Pastikan instance replikasi Anda memiliki ruang yang cukup untuk log aplikasinya. Untuk informasi selengkapnya tentang mengelola log tugas, lihatMelihat dan mengelola log AWS DMS tugas.

Jenis Objek

AWS DMS menghasilkan konteks login CloudWatch untuk jenis objek berikut.

Contoh Pencatatan

Bagian ini berisi contoh catatan log yang dapat Anda gunakan untuk memantau replikasi dan mendiagnosis masalah replikasi.

Contoh log koneksi

Bagian ini berisi sampel log yang menyertakan koneksiIDs.

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

Contoh log perilaku tugas

Bagian ini berisi sampel log tentang perilaku log tugas replikasi. Anda dapat menggunakan informasi ini untuk mendiagnosis masalah replikasi, seperti tugas dalam IDLE status.

SOURCE_CAPTURELog berikut menunjukkan bahwa tidak ada peristiwa yang tersedia untuk dibaca dari file log database sumber, dan berisi TARGET_APPLY catatan yang menunjukkan bahwa tidak ada peristiwa yang diterima dari AWS DMS CDC komponen untuk diterapkan ke database target. Peristiwa ini juga berisi detail konteks terkait peristiwa yang diterapkan sebelumnya.

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

SQLcontoh log pernyataan

Bagian ini berisi sampel log tentang SQL pernyataan yang dijalankan pada basis data sumber dan target. SQLPernyataan yang Anda lihat di log hanya menampilkan SQL pernyataan; mereka tidak menampilkan data. TARGET_APPLYLog berikut menunjukkan INSERT pernyataan yang berjalan pada target.

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

Batasan

Batasan berikut berlaku untuk pencatatan AWS DMS konteks: