Monitorar o carregamento de dados
O Aurora PostgreSQL Limitless Database fornece várias maneiras de monitorar trabalhos de carregamento de dados:
Listar trabalhos de carregamento de dados
Você pode se conectar ao endpoint do cluster e usar a visualização rds_aurora.limitless_data_load_jobs para listar os trabalhos de carregamento de dados.
postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_jobs LIMIT 6; job_id | status | message | source_db_identifier | source_db_name | full_load_complete_time | progress_details | start_time | last_updated_time | streaming_mode | source_engine_type | ignore_primary_key_conflict | is_dryrun ---------------+-----------+---------+-------------------------------+----------------+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------+------------------------+------------------------+-------------------+--------------------+-----------------------------+----------- 1725697520693 | COMPLETED | | persistent-kdm-auto-source-01 | postgres | 2024-09-07 08:48:15+00 | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "9 of 9 tables loaded", "COMPLETED_AT": "2024/09/07 08:48:15+00", "RECORDS_MIGRATED": 600003}} | 2024-09-07 08:47:13+00 | 2024-09-07 08:48:15+00 | full_load | aurora_postgresql | t | f 1725696114225 | COMPLETED | | persistent-kdm-auto-source-01 | postgres | 2024-09-07 08:24:20+00 | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "3 of 3 tables loaded", "COMPLETED_AT": "2024/09/07 08:24:20+00", "RECORDS_MIGRATED": 200001}} | 2024-09-07 08:23:56+00 | 2024-09-07 08:24:20+00 | full_load | aurora_postgresql | t | f 1725696067630 | COMPLETED | | persistent-kdm-auto-source-01 | postgres | 2024-09-07 08:23:45+00 | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "6 of 6 tables loaded", "COMPLETED_AT": "2024/09/07 08:23:45+00", "RECORDS_MIGRATED": 400002}} | 2024-09-07 08:23:10+00 | 2024-09-07 08:23:45+00 | full_load | aurora_postgresql | t | f 1725694221753 | CANCELED | | persistent-kdm-auto-source-01 | postgres | | {} | 2024-09-07 07:31:18+00 | 2024-09-07 07:51:49+00 | full_load_and_cdc | aurora_postgresql | t | f 1725691698210 | COMPLETED | | persistent-kdm-auto-source-01 | postgres | 2024-09-07 07:10:51+00 | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:51+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:42+00 | 2024-09-07 07:10:52+00 | full_load | aurora_postgresql | t | f 1725691695049 | COMPLETED | | persistent-kdm-auto-source-01 | postgres | 2024-09-07 07:10:48+00 | {"FULL_LOAD": {"STATUS": "COMPLETED", "DETAILS": "1 of 1 tables loaded", "COMPLETED_AT": "2024/09/07 07:10:48+00", "RECORDS_MIGRATED": 100000}} | 2024-09-07 07:10:41+00 | 2024-09-07 07:10:48+00 | full_load | aurora_postgresql | t | f (6 rows)
Os registros de trabalho são excluídos após 90 dias.
Visualizar detalhes dos trabalhos de carregamento de dados usando o ID do trabalho
Se você souber um ID de trabalho, poderá se conectar ao endpoint do cluster e usar a visualização rds_aurora.limitless_data_load_job_details para ver os detalhes desse trabalho de carregamento de dados, incluindo o nome da tabela, o status do trabalho e o número de linhas carregadas. Você pode obter o ID do trabalho nas respostas às funções de início do carregamento de dados ou na visualização rds_aurora.limitless_data_load_jobs.
postgres_limitless=> SELECT * FROM rds_aurora.limitless_data_load_job_details WHERE job_id='1725696114225'; job_id | destination_table_name | destination_schema_name | start_time | status | full_load_rows | full_load_total_rows | full_load_complete_time | cdc_insert | cdc_update | cdc_delete --------------+------------------------+-------------------------+------------------------+-----------+----------------+----------------------+-------------------------+------------+------------+------------ 1725696114225 | standard_1 | public | 2024-09-07 08:23:57+00 | COMPLETED | 100000 | 100000 | 2024-09-07 08:24:08+00 | 0 | 0 | 0 1725696114225 | standard_2 | public | 2024-09-07 08:24:08+00 | COMPLETED | 100000 | 100000 | 2024-09-07 08:24:17+00 | 0 | 0 | 0 1725696114225 | standard_3 | public | 2024-09-07 08:24:18+00 | COMPLETED | 1 | 1 | 2024-09-07 08:24:20+00 | 0 | 0 | 0 1725696114225 | standard_4 | public | 2024-09-07 08:23:58+00 | PENDING | 0 | 0 | | 0 | 0 | 0 (4 rows)
Os registros de trabalho são excluídos após 90 dias.
Monitorar o grupo de logs do Amazon CloudWatch
Depois que o status do trabalho de carregamento de dados mudar para RUNNING, você poderá verificar o progresso do runtime usando o Amazon CloudWatch Logs.
Como monitorar os fluxos de logs do CloudWatch
Faça login no AWS Management Console e abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
-
Navegue até Logs e, em seguida, Grupos de logs.
-
Escolha o grupo de logs /aws/rds/aurora-limitless-database.
-
Pesquise o fluxo de logs do seu trabalho de carregamento de dados por job_id.
O fluxo de logs tem o padrão Data-Load-Job-
job_id. -
Escolha o fluxo de logs para ver os eventos de logs.
Cada fluxo de logs mostra eventos contendo o status do trabalho e o número de linhas carregadas nas tabelas de destino do Aurora PostgreSQL Limitless Database. Se um trabalho de carregamento de dados falhar, também será criado um log de erros que mostra o status da falha e o motivo.
Os registros de trabalho são excluídos após 90 dias.
Monitorar eventos do RDS
O trabalho de carregamento de dados também publica eventos do RDS, por exemplo, quando um trabalho é bem-sucedido, falha ou é cancelado. É possível visualizar os eventos a partir do banco de dados de destino.
Para ter mais informações, consulte Eventos de grupo de fragmentos de banco de dados.
