DMS AWS タスクのモニタリング

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モニタリングは、 および AWS ソリューションの信頼性、可用性、パフォーマンスを維持する上で重要な部分 AWS DMS です。マルチポイント障害が発生した場合は、その障害をより簡単にデバッグできるように、 AWS ソリューションのすべての部分からモニタリングデータを収集する必要があります。 には、 AWS DMS タスクとリソースをモニタリングし、潜在的なインシデントに対応するための複数のツール AWS が用意されています。

詳細については、以下のトピックをご参照ください。

タスクのステータス

タスクのステータスはタスクの状態を提供します。以下の表では、タスクがなる得るステータスを示しています。

タスクのステータスバーで、タスクの進捗状況を予測できます。この予測の正確さはソースデータベースのテーブル統計の正確さによって異なります。テーブル統計が正確であればあるほど、正確に予測できます。予測された列の統計がないテーブルが 1 つだけのタスクでは、どのような種類であっても完了率の予測を提供できません。この場合、タスクのステータスと、ロードされた列の表示を使って、タスクが実際に実行されて進行していることを確認できます。

DMS コンソールの「最終更新」列はテーブルに対して AWS DMS が最後にテーブル統計レコードを更新した時刻を示すのみであることにご注意ください。これはテーブルの最終更新時間を示すものではありません。

DMS コンソールを使用する以外にも、次の例のとおり、AWS CLI で aws dms describe-replication-tasks コマンドを使用して、タスクのステータスを含む現在のレプリケーションタスクの説明の出力を取得できます。

{
    "ReplicationTasks": [
        {
            "ReplicationTaskIdentifier": "moveit2",
            "SourceEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:6GGI6YPWWGAYUVLKIB732KEVWA",
            "TargetEndpointArn": "arn:aws:dms:us-east-1:123456789012:endpoint:EOM4SFKCZEYHZBFGAGZT3QEC5U",
            "ReplicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:T3OM7OUB5NM2LCVZF7JPGJRNUE",
            "MigrationType": "full-load",
            "TableMappings": ...output omitted... ,
            "ReplicationTaskSettings": ...output omitted... ,
            "Status": "stopped",
            "StopReason": "Stop Reason FULL_LOAD_ONLY_FINISHED",
            "ReplicationTaskCreationDate": 1590524772.505,
            "ReplicationTaskStartDate": 1590619805.212,
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:123456789012:task:K55IUCGBASJS5VHZJIINA45FII",
            "ReplicationTaskStats": {
                "FullLoadProgressPercent": 100,
                "ElapsedTimeMillis": 0,
                "TablesLoaded": 0,
                "TablesLoading": 0,
                "TablesQueued": 0,
                "TablesErrored": 0,
                "FreshStartDate": 1590619811.528,
                "StartDate": 1590619811.528,
                "StopDate": 1590619842.068
            }
        }
    ]
}  

タスク実行中のテーブルの状態

AWS DMS コンソールは、移行中のテーブルの状態に関する情報を更新します。以下の表では、表示される可能性のある状態値を示しています。

Amazon CloudWatch を使用したレプリケーション モニタリングタスク

Amazon CloudWatch のアラームやイベントを使用して移行をより詳細に追跡できます。Amazon CloudWatch の詳細については、[Amazon CloudWatch ユーザーガイド]の「Amazon CloudWatch、Amazon CloudWatch Events、Amazon CloudWatch Logs とは」をご参照ください。Amazon CloudWatch の使用には料金が発生することにご注意ください。

レプリケーションタスクで CloudWatch ログが作成されない場合は、「トラブルシューティングガイド」の「AWS DMS は CloudWatch Logs を作成しません」を参照してください。

AWS DMS コンソールには、次に示すように、タスクのステータス、完了率、経過時間、テーブル統計など、各タスクの基本的な CloudWatch 統計が表示されます。レプリケーションタスクを選択して、[CloudWatch メトリクス] タブをクリックします。

CloudWatchタスクログ設定を確認して変更するには、[タスクログ記録の変更] を選択します。詳細については、「ロギングタスク設定」を参照してください。

AWS DMS コンソールでは、テーブル統計タブを選択すると、挿入数、削除数、更新数など、各テーブルのパフォーマンス統計が表示されます。

さらに、[レプリケーションインスタンス] ページでレプリケーションインスタンスを選択して、[CloudWatch メトリクス] タブをクリックすると、インスタンスのパフォーマンスメトリクスを確認できます。

AWS Database Migration Service メトリクス

AWS DMS は、次の統計を提供します。

タスクメトリクスは、レプリケーションホストおよびソースエンドポイント間の統計と、レプリケーションホストおよびターゲットエンドポイント間の統計に分けられます。関連する 2 つの統計を一緒に追加することで、タスクの統計の合計を調べることもできます。たとえば、CDCLatencySource 値と CDCLatencyTarget 値を組み合わせることで、タスクの合計レイテンシー (レプリカラグ) を調べることができます。

タスクメトリック値は、ソースデータベースにおける現在のアクティビティの影響を受ける可能性があります。たとえば、トランザクションが開始したが、コミットされていない場合、CDCLatencySource メトリクスはトランザクションがコミットされるまで大きくなり続けます。

レプリケーションインスタンスの場合、FreeableMemory メトリクスには説明が必要です。解放可能なメモリは、実際の使用可能な空きメモリを示しているわけではありません。これは、解放して他の用途に使用できる現在使用中のメモリであり、レプリケーションインスタンスで使用されているバッファとキャッシュの組み合わせです。

FreeableMemory メトリクスに実際の使用可能な空きメモリは反映されませんが、FreeableMemory および SwapUsage メトリクスの組み合わせにより、レプリケーションインスタンスが過負荷になっているかどうかがわかります。

次の状態について、これらの 2 つのメトリクスをモニタリングします。

これらの 2 つの状態のいずれかが表示された場合は、より大きなレプリケーションインスタンスへの移行を検討する必要があります。また、レプリケーションインスタンスで実行中のタスクの数とタイプを減らすことも検討してください。全ロードタスクは、変更をレプリケートするだけのタスクよりも多くのメモリを必要とします。

AWS DMS 移行タスクの実際のメモリ要件を概算するには、次のパラメータを使用できます。

上記の値を決定したら、次のいずれかの方法を使用して、移行タスクに必要なメモリ量を見積もることができます。これらの方法は、移行タスクの [LOB 列設定] で選択したオプションによって異なります。

AWS DMS が変換を最適に実行するには、変換が発生したときに CPU が使用可能である必要があります。CPU をオーバーロードし、十分な CPU リソースがないと、移行が遅くなる可能性があります。特に Oracle から PostgreSQL への移行などの異種移行やレプリケーションを実行する場合、 は CPU を大量に消費 AWS DMS する可能性があります。C4 レプリケーション インスタンスはこのような状況に適しています。詳細については、「移行に適した DMS AWS レプリケーションインスタンスの選択」を参照してください。

レプリケーションインスタンスのメトリクス

レプリケーションインスタンスのモニタリングには、次の統計に関する Amazon CloudWatch メトリクスがあります。

レプリケーションタスクのメトリクス

レプリケーションタスクのモニタリングには、次の統計のメトリクスがあります。

DMS AWS タスクログの表示と管理

Amazon CloudWatch を使用して、 AWS DMS 移行プロセス中にタスク情報をログに記録できます。タスク設定を選択すると、ログ記録が有効になります。詳細については、「ロギングタスク設定」を参照してください。

実行されたタスクのログを表示するには、以下の手順に従います。

さらに、 AWS CLI または AWS DMS API を使用して、タスクログに関する情報を表示できます。これを行うには、 describe-replication-instance-task-logs AWS CLI コマンドまたは AWS DMS API アクション を使用しますDescribeReplicationInstanceTaskLogs。

例えば、次の AWS CLI コマンドは、タスクログメタデータを JSON 形式で表示します。

$ aws dms describe-replication-instance-task-logs \
   --replication-instance-arn arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY
        

コマンドからのレスポンス例を次に示します。

{
    "ReplicationInstanceTaskLogs": [
        {
            "ReplicationTaskArn": "arn:aws:dms:us-east-1:237565436:task:MY34U6Z4MSY52GRTIX3O4AY",
            "ReplicationTaskName": "mysql-to-ddb",
            "ReplicationInstanceTaskLogSize": 3726134
        }
    ],
    "ReplicationInstanceArn": "arn:aws:dms:us-east-1:237565436:rep:CDSFSFSFFFSSUFCAY"
}
        

このレスポンスでは、1 つのタスクログ (mysql-to-ddb) がレプリケーションインスタンスに関連付けられています。このログのサイズは、3,726,124 バイトです。

describe-replication-instance-task-logs により返される情報を使用して、タスクログの問題を診断およびトラブルシューティングできます。たとえば、タスクの詳細なデバッグログを有効にした場合、タスクログはすぐに大きくなるため、レプリケーション インスタンスに使用可能なストレージを消耗し、インスタンスステータスが storage-full に変化する可能性があります。タスクログを記述することによって、必要ないタスクログを判断できます。これにより、それらのタスクログを削除してストレージ領域を解放できます。

タスクのタスクログを削除するには、タスク設定 DeleteTaskLogs を true に設定します。たとえば、次の JSON は、 コマンドまたは AWS DMS API ModifyReplicationTaskアクションを使用して AWS CLI modify-replication-taskタスクを変更するときにタスクログを削除します。

{
   "Logging": {
       "DeleteTaskLogs":true
   }
}
        

を使用した AWS DMS API コールのログ記録 AWS CloudTrail

AWS DMS は、ユーザー AWS CloudTrail、ロール、または のサービスによって実行されたアクションを記録する AWS サービスである と統合されています AWS DMS。CloudTrail は、 AWS DMS コンソールからの呼び出しや API オペレーションへのコード呼び出しを含む、 のすべての AWS DMS API コールをイベント AWS DMS としてキャプチャします。証跡を作成する場合は、 イベントなど、Amazon S3 バケットへの CloudTrail イベントの継続的な配信を有効にすることができます AWS DMS。証跡を設定しない場合でも、CloudTrail コンソールの [イベント履歴] で最新のイベントを表示できます。CloudTrail によって収集された情報を使用して、リクエストの実行元の IP アドレス AWS DMS、リクエストの実行者、リクエストの実行日時などの詳細を確認できます。

CloudTrail の詳細については、「AWS CloudTrail ユーザーガイド」を参照してください。

AWS DMS CloudTrail の情報

CloudTrail は、 AWS アカウントの作成時にアカウントで有効になります。でアクティビティが発生すると AWS DMS、そのアクティビティはイベント履歴の他の AWS サービスイベントとともに CloudTrail イベントに記録されます。 AWS アカウントで最近のイベントを表示、検索、ダウンロードできます。詳細については、「Viewing events with CloudTrail event history」(CloudTrail イベント履歴でのイベントの表示) を参照してください。

のイベントなど、 AWS アカウントのイベントの継続的な記録については AWS DMS、証跡を作成します。追跡により、CloudTrail はログファイルを Amazon S3 バケットに配信できます。デフォルトでは、コンソールで証跡を作成すると、証跡はすべての AWS リージョンに適用されます。証跡は、 AWS パーティション内のすべての AWS リージョンからのイベントをログに記録し、指定した Amazon S3 バケットにログファイルを配信します。さらに、CloudTrail ログで収集されたイベントデータをより詳細に分析し、それに基づいて行動するように、他の AWS サービスを設定できます。詳細については、以下を参照してください。

すべての AWS DMS アクションは CloudTrail によってログに記録され、 AWS Database Migration Service API リファレンスに記載されています。例えば、CreateReplicationInstance、TestConnection、StartReplicationTask の各アクションを呼び出すと、CloudTrail ログファイルにエントリが生成されます。

各イベントまたはログエントリには、誰がリクエストを生成したかという情報が含まれます。同一性情報は次の判断に役立ちます。

詳細については、「CloudTrail userIdentity エレメント」を参照してください。

AWS DMS ログファイルエントリについて

「トレイル」は、指定した Amazon S3 バケットにイベントをログファイルとして配信するように設定できます。CloudTrail のログファイルは、単一か複数のログエントリを含みます。イベントはあらゆるソースからの単一のリクエストを表し、リクエストされたアクション、アクションの日時、リクエストのパラメータなどの情報が含まれます。CloudTrail ログファイルは、パブリック API コールの順序付けられたスタックトレースではないため、特定の順序では表示されません。

次は、RebootReplicationInstance アクションを示す CloudTrail ログエントリの例です。

    {
    "eventVersion": "1.05",
    "userIdentity": {
        "type": "AssumedRole",
        "principalId": "AKIAIOSFODNN7EXAMPLE:johndoe",
        "arn": "arn:aws:sts::123456789012:assumed-role/admin/johndoe",
        "accountId": "123456789012",
        "accessKeyId": "ASIAIOSFODNN7EXAMPLE",
        "sessionContext": {
            "attributes": {
                "mfaAuthenticated": "false",
                "creationDate": "2018-08-01T16:42:09Z"
            },
            "sessionIssuer": {
                "type": "Role",
                "principalId": "AKIAIOSFODNN7EXAMPLE",
                "arn": "arn:aws:iam::123456789012:role/admin",
                "accountId": "123456789012",
                "userName": "admin"
            }
        }
    },
    "eventTime": "2018-08-02T00:11:44Z",
    "eventSource": "dms.amazonaws.com",
    "eventName": "RebootReplicationInstance",
    "awsRegion": "us-east-1",
    "sourceIPAddress": "72.21.198.64",
    "userAgent": "console.amazonaws.com",
    "requestParameters": {
        "forceFailover": false,
        "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE"
    },
    "responseElements": {
        "replicationInstance": {
            "replicationInstanceIdentifier": "replication-instance-1",
            "replicationInstanceStatus": "rebooting",
            "allocatedStorage": 50,
            "replicationInstancePrivateIpAddresses": [
                "172.31.20.204"
            ],
            "instanceCreateTime": "Aug 1, 2018 11:56:21 PM",
            "autoMinorVersionUpgrade": true,
            "engineVersion": "2.4.3",
            "publiclyAccessible": true,
            "replicationInstanceClass": "dms.t2.medium",
            "availabilityZone": "us-east-1b",
            "kmsKeyId": "arn:aws:kms:us-east-1:123456789012:key/f7bc0f8e-1a3a-4ace-9faa-e8494fa3921a",
            "replicationSubnetGroup": {
                "vpcId": "vpc-1f6a9c6a",
                "subnetGroupStatus": "Complete",
                "replicationSubnetGroupArn": "arn:aws:dms:us-east-1:123456789012:subgrp:EDHRVRBAAAPONQAIYWP4NUW22M",
                "subnets": [
                    {
                        "subnetIdentifier": "subnet-cbfff283",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1b"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-d7c825e8",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1e"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-6746046b",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1f"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-bac383e0",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1c"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-42599426",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1d"
                        },
                        "subnetStatus": "Active"
                    },
                    {
                        "subnetIdentifier": "subnet-da327bf6",
                        "subnetAvailabilityZone": {
                            "name": "us-east-1a"
                        },
                        "subnetStatus": "Active"
                    }
                ],
                "replicationSubnetGroupIdentifier": "default-vpc-1f6a9c6a",
                "replicationSubnetGroupDescription": "default group created by console for vpc id vpc-1f6a9c6a"
            },
            "replicationInstanceEniId": "eni-0d6db8c7137cb9844",
            "vpcSecurityGroups": [
                {
                    "vpcSecurityGroupId": "sg-f839b688",
                    "status": "active"
                }
            ],
            "pendingModifiedValues": {},
            "replicationInstancePublicIpAddresses": [
                "18.211.48.119"
            ],
            "replicationInstancePublicIpAddress": "18.211.48.119",
            "preferredMaintenanceWindow": "fri:22:44-fri:23:14",
            "replicationInstanceArn": "arn:aws:dms:us-east-1:123456789012:rep:EX4MBJ2NMRDL3BMAYJOXUGYPUE",
            "replicationInstanceEniIds": [
                "eni-0d6db8c7137cb9844"
            ],
            "multiAZ": false,
            "replicationInstancePrivateIpAddress": "172.31.20.204",
            "patchingPrecedence": 0
        }
    },
    "requestID": "a3c83c11-95e8-11e8-9d08-4b8f2b45bfd5",
    "eventID": "b3c4adb1-e34b-4744-bdeb-35528062a541",
    "eventType": "AwsApiCall",
    "recipientAccountId": "123456789012"
}

AWS DMS コンテキストログ記録

AWS DMS はコンテキストログ記録を使用して、進行中の移行に関する情報を提供します。コンテキストのログ記録がタスクの CloudWatch ログに書き込む情報は次のとおりです。

コンテキストログ記録は、 AWS DMS バージョン 3.5.0 以降でのみ使用できます。

AWS DMS はデフォルトでコンテキストログ記録を有効にします。コンテキストのログ記録を制御するには、EnableLogContext タスク設定を true または false に設定するか、コンソールでタスクを変更します。

AWS DMS は、コンテキストログ情報を CloudWatch ログのレプリケーションタスクに 3 分ごとに書き込みます。レプリケーションインスタンスにアプリケーションログのための十分なスペースがあることを確認します。タスクログの管理の詳細については、「DMS AWS タスクログの表示と管理」を参照してください。

オブジェクトタイプ

AWS DMS は、以下のオブジェクトタイプについて CloudWatch でコンテキストログを作成します。

ログ記録の例

このセクションでは、レプリケーションのモニタリングとレプリケーションの問題の診断に使用できるログレコードの例を説明します。

接続ログの例

このセクションでは、接続 ID を含むログのサンプルを記載しています。

2023-02-22T10:09:29 [SOURCE_CAPTURE  ]I:  Capture record 1 to internal queue from Source  {operation:START_REGULAR (43), connectionId:27598, streamPosition:0000124A/6800A778.NOW}  (streamcomponent.c:2920)
            
2023-02-22T10:12:30 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), connectionId:27598}  (streamcomponent.c:2920)

2023-02-22T11:25:27 [SOURCE_CAPTURE  ]I:  Capture record 0 to internal queue from Source  {operation:IDLE (51), columnName:region, connectionId:27598}  (streamcomponent.c:2920)            

タスク動作ログの例

このセクションでは、レプリケーションタスクログの動作に関するログのサンプルを記載しています。このような情報を使用して、IDLE ステータスのタスクなど、レプリケーションの問題を診断できます。

次の SOURCE_CAPTURE ログは、ソースデータベースのログファイルから読み取ることができるイベントがないことを示しており、ターゲットデータベースに適用する AWS DMS CDC コンポーネントから受信したイベントがないことを示す TARGET_APPLY レコードが含まれています。上記のイベントには、以前に適用したイベント関連のコンテキストの詳細も含まれています。

2023-02-22T11:23:24 [SOURCE_CAPTURE  ]I:  No Event fetched from wal log  (postgres_endpoint_wal_engine.c:1369)
2023-02-22T11:24:29 [TARGET_APPLY    ]I:  No records received to load or apply on target , waiting for data from upstream. The last context is  {operation:INSERT (1), tableName:sales_11, schemaName:public, txnId:18662441, connectionId:17855, statement:INSERT INTO "public"."sales_11"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

SQL ステートメントログの例

このセクションでは、ソースデータベースとターゲットデータベースで実行される SQL ステートメントに関するログサンプルを記載しています。ログに表示される SQL ステートメントには SQL ステートメントのみが表示され、データは表示されません。次の TARGET_APPLY ログは、ターゲット上で実行された INSERT ステートメントを示しています。

2023-02-22T11:26:07 [TARGET_APPLY    ]I:  Applied record 2193305 to target  {operation:INSERT (1), tableName:sales_111, schemaName:public, txnId:18761543, connectionId:17855, statement:INSERT INTO "public"."sales_111"("sales_no","dept_name","sale_amount","sale_date","region") values (?,?,?,?,?), 

制限

AWS DMS コンテキストログ記録には、次の制限が適用されます。