데이터 로드 모니터링

Aurora PostgreSQL Limitless Database는 데이터 로드 작업을 모니터링하는 몇 가지 방법을 제공합니다.

데이터 로드 작업 나열

클러스터 엔드포인트에 연결하고 rds_aurora.limitless_data_load_jobs 뷰를 사용하여 데이터 로드 작업을 나열할 수 있습니다.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6;

    job_id     |  status   | message |     source_db_identifier      | source_db_name | full_load_complete_time |                                                                progress_details                                                                 |       start_time       |   last_updated_time    |  streaming_mode   | source_engine_type | ignore_primary_key_conflict | is_dryrun 
---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+-----------
 1725697520693 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:48:15+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load         | aurora_postgresql  | t                           | f
 1725696114225 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:24:20+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load         | aurora_postgresql  | t                           | f
 1725696067630 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 08:23:45+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load         | aurora_postgresql  | t                           | f
 1725694221753 | CANCELED  |         | persistent-kdm-auto-source-01 | postgres       |                         | {}                                                                                                                                              | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql  | t                           | f
 1725691698210 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:51+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load         | aurora_postgresql  | t                           | f
 1725691695049 | COMPLETED |         | persistent-kdm-auto-source-01 | postgres       | 2024-09-07 07:10:48+00  | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load         | aurora_postgresql  | t                           | f
(6 rows)

작업 레코드는 90일 후에 삭제됩니다.

작업 ID를 사용하여 데이터 로드 작업의 세부 정보 보기

작업 ID를 알고 있는 경우 클러스터 엔드포인트에 연결하고 rds_aurora.limitless_data_load_job_details 뷰를 사용하여 테이블 이름, 작업 상태 및 로드된 행 수를 포함하여 해당 데이터 로드 작업의 세부 정보를 볼 수 있습니다. 데이터 로드 시작 함수에 대한 응답 또는 rds_aurora.limitless_data_load_jobs 뷰에서 작업 ID를 가져올 수 있습니다.

postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225';

job_id        | destination_table_name | destination_schema_name | start_time             | status    | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete
--------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------
1725696114225 | standard_1             | public                  | 2024-09-07 08:23:57+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:08+00  | 0          | 0          | 0
1725696114225 | standard_2             | public                  | 2024-09-07 08:24:08+00 | COMPLETED | 100000         | 100000               | 2024-09-07 08:24:17+00  | 0          | 0          | 0
1725696114225 | standard_3             | public                  | 2024-09-07 08:24:18+00 | COMPLETED | 1              | 1                    | 2024-09-07 08:24:20+00  | 0          | 0          | 0
1725696114225 | standard_4             | public                  | 2024-09-07 08:23:58+00 | PENDING   | 0              | 0                    |                         | 0          | 0          | 0
(4 rows)

작업 레코드는 90일 후에 삭제됩니다.

Amazon CloudWatch 로그 그룹 모니터링

데이터 로드 작업 상태가 RUNNING으로 변경되면 Amazon CloudWatch Logs를 사용하여 런타임 진행 상황을 확인할 수 있습니다.

각 로그 스트림에는 작업 상태와 Aurora PostgreSQL Limitless Database 대상 테이블에 로드된 행 수가 포함된 이벤트가 표시됩니다. 데이터 로드 작업이 실패하면 실패 상태와 이유를 보여주는 오류 로그도 만들어집니다.

작업 레코드는 90일 후에 삭제됩니다.

RDS 이벤트 모니터링

또한 데이터 로드 작업은 작업이 성공, 실패 또는 취소되는 경우와 같은 RDS 이벤트를 게시합니다. 대상 데이터베이스에서 이벤트를 볼 수 있습니다.

자세한 내용은 DB 샤드 그룹 이벤트 단원을 참조하십시오.