log_fdw 확장으로 SQL을 사용하여 DB 로그에 액세스 - Amazon Aurora

log_fdw 확장으로 SQL을 사용하여 DB 로그에 액세스

Aurora PostgreSQL DB 클러스터는 SQL 인터페이스를 사용하여 데이터베이스 엔진 로그에 액세스할 수 있는 log_fdw 확장을 지원합니다. log_fdw 확장은 데이터베이스 로그용 외부 테이블을 간편하게 생성할 수 있게 해주는 2가지 함수를 제공합니다.

  • list_postgres_log_files – 데이터베이스 로그 디렉터리의 파일과 파일 크기(단위: 바이트)를 나열합니다.

  • create_foreign_table_for_log_file(table_name text, server_name text, log_file_name text) – 현재 데이터베이스에서 지정된 파일에 대해 외부 테이블을 빌드합니다.

log_fdw가 생성하는 모든 함수는 rds_superuser가 소유합니다. rds_superuser 역할의 구성원은 다른 데이터베이스 사용자에게 이러한 함수에 대한 액세스 권한을 부여할 수 있습니다.

기본적으로 로그 파일은 log_destination 파라미터에 명시된 대로 Amazon Aurora에 의해 stderr(표준 오류) 형식으로 생성됩니다. 이 파라미터에는 두 가지 옵션만 있습니다. stderr 및 csvlog(쉼표로 구분된 값, CSV)입니다. 파라미터에 csvlog 옵션을 추가하는 경우 Amazon Aurora가 stderr 및 csvlog 로그를 모두 생성합니다. 이는 DB 클러스터의 스토리지 용량에 영향을 줄 수 있으므로 로그 처리에 영향을 주는 다른 파라미터를 알고 있어야 합니다. 자세한 내용은 로그 대상 설정(stderr, csvlog) 단원을 참조하십시오.

csvlog 로그를 생성할 때의 한 가지 이점은 log_fdw 확장을 사용하여 여러 열로 깔끔하게 분할된 데이터로 외부 테이블을 작성할 수 있다는 점입니다. 그러려면 인스턴스를 사용자 지정 DB 파라미터 그룹과 연결해야 log_destination에 대한 설정을 변경할 수 있습니다. 이에 관한 정보는 Amazon Aurora의 파라미터 그룹 단원을 참조하세요.

다음 예제에서는 log_destination 파라미터에 cvslog가 포함된 것으로 간주합니다.

log_fdw 확장을 사용하려면

  1. log_fdw 확장을 설치합니다.

    postgres=> CREATE EXTENSION log_fdw;
CREATE EXTENSION

  2. 로그 서버를 외부 데이터 래퍼로 생성합니다.

    postgres=> CREATE SERVER log_server FOREIGN DATA WRAPPER log_fdw;
CREATE SERVER

  3. 로그 파일 목록에서 모든 파일을 선택합니다.

    postgres=> SELECT * FROM list_postgres_log_files() ORDER BY 1;

    샘플 응답은 다음과 같습니다.

              file_name           | file_size_bytes
------------------------------+-----------------
 postgresql.log.2023-08-09-22.csv |            1111
 postgresql.log.2023-08-09-23.csv |            1172
 postgresql.log.2023-08-10-00.csv |            1744
 postgresql.log.2023-08-10-01.csv |            1102
(4 rows)

  4. 선택한 파일에 대해 단일 'log_entry' 열이 있는 테이블을 생성합니다.

    postgres=> SELECT create_foreign_table_for_log_file('my_postgres_error_log',
     'log_server', 'postgresql.log.2023-08-09-22.csv');

    응답은 테이블이 현재 존재한다는 것 외에는 세부 정보를 제공하지 않습니다.

    -----------------------------------
(1 row)

  5. 로그 파일의 샘플을 선택합니다. 다음 코드는 로그 시간 및 오류 메시지 설명을 검색합니다.

    postgres=> SELECT log_time, message FROM my_postgres_error_log ORDER BY 1;

    샘플 응답은 다음과 같습니다.

                 log_time             |                                  message
----------------------------------+---------------------------------------------------------------------------
Tue Aug 09 15:45:18.172 2023 PDT | ending log output to stderr
Tue Aug 09 15:45:18.175 2023 PDT | database system was interrupted; last known up at 2023-08-09 22:43:34 UTC
Tue Aug 09 15:45:18.223 2023 PDT | checkpoint record is at 0/90002E0
Tue Aug 09 15:45:18.223 2023 PDT | redo record is at 0/90002A8; shutdown FALSE
Tue Aug 09 15:45:18.223 2023 PDT | next transaction ID: 0/1879; next OID: 24578
Tue Aug 09 15:45:18.223 2023 PDT | next MultiXactId: 1; next MultiXactOffset: 0
Tue Aug 09 15:45:18.223 2023 PDT | oldest unfrozen transaction ID: 1822, in database 1
(7 rows)