구독을 통한 로그 데이터 실시간 처리 - 아마존 CloudWatch 로그
개념

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

구독을 통한 로그 데이터 실시간 처리

구독을 사용하여 Logs에서 CloudWatch 로그 이벤트의 실시간 피드에 액세스하여 Amazon Kinesis 스트림, Amazon Data Firehose 스트림과 같은 다른 서비스로 전송하거나 사용자 지정 처리, 분석을 AWS Lambda 수행하거나 다른 시스템으로 로드할 수 있습니다. 로그 이벤트가 수신 서비스로 전송되면 base64로 인코딩되고 gzip 형식으로 압축됩니다.

로그 이벤트에 대한 구독을 시작하려면 이벤트가 제공되는 수신 소스(예: Kinesis Data Streams 스트림)를 생성합니다. 구독 필터는 AWS 리소스로 전달되는 로그 이벤트를 필터링하는 데 사용할 필터 패턴과 일치하는 로그 이벤트를 보낼 위치에 대한 정보를 정의합니다.

계정 수준 및 로그 그룹 수준에서 구독을 생성할 수 있습니다. 각 계정에는 하나의 계정 수준 구독 필터가 있을 수 있습니다. 각 로그 그룹에는 구독 필터를 최대 2개까지 연결할 수 있습니다.

참고

대상 서비스가 제한 예외 또는 재시도 가능한 서비스 예외 (예: HTTP 5xx) 와 같은 재시도 가능한 오류를 반환하는 경우 CloudWatch Logs는 최대 24시간 동안 전송을 계속 재시도합니다. CloudWatch 오류가 또는 같이 다시 시도할 수 없는 오류인 경우 Logs는 재전송을 시도하지 않습니다. AccessDeniedException ResourceNotFoundException 이러한 경우 구독 필터가 최대 10분 동안 비활성화된 후 Logs는 목적지로 CloudWatch 로그를 다시 전송하려고 시도합니다. 이 비활성화된 기간 동안에는 로그를 건너뛰게 됩니다.

CloudWatch 로그는 또한 구독으로 로그 이벤트를 전달하는 데 대한 CloudWatch 지표를 생성합니다. 자세한 정보는 CloudWatch 메트릭을 사용한 모니터링을 참조하세요.

또한 CloudWatch Logs 구독을 사용하여 Amazon OpenSearch Service 클러스터로 로그 데이터를 거의 실시간으로 스트리밍할 수 있습니다. 자세한 내용은 Amazon OpenSearch Service로의 스트리밍 CloudWatch 로그 데이터를 참조하십시오.

구독은 Standard 로그 클래스의 로그 그룹에만 지원됩니다. 로그 클래스에 대한 자세한 내용은 을 참조하십시오로그 클래스.

참고

구독 필터는 로그 이벤트를 일괄 처리하여 전송을 최적화하고 대상으로의 통화량을 줄일 수 있습니다. 일괄 처리가 보장되지는 않지만 가능하면 일괄 처리가 사용됩니다.

내용

개념

각 구독 필터는 다음과 같은 키 요소들로 이루어져 있습니다.

필터 패턴

대상 리소스로 전달되는 내용을 제한하는 필터링 표현식과 함께 로그가 각 로그 이벤트의 데이터를 해석하는 방식을 CloudWatch 상징적으로 설명합니다. AWS 필터 패턴 구문에 대한 자세한 내용은 지표 필터, 구독 필터, 필터 로그 이벤트 및 Live Tail에 대한 필터 패턴 구문 섹션을 참조하세요.

destination arn

구독 피드의 대상으로 사용하려는 Kinesis 데이터 스트림, Firehose 스트림 또는 Lambda 함수의 Amazon 리소스 이름 (ARN)

역할 ARN

선택한 대상에 데이터를 저장하는 데 필요한 권한을 CloudWatch 로그에 부여하는 IAM 역할. Lambda 목적지에는 이 역할이 필요하지 않습니다. 로그는 Lambda 함수 자체의 액세스 제어 설정에서 필요한 권한을 얻을 수 CloudWatch 있기 때문입니다.

배포

대상이 Amazon Kinesis Data Streams의 스트림일 때 해당 대상으로 로그 데이터를 배포하는 데 사용되는 방법입니다. 기본적으로 로그 스트림에 따라 로그 데이터가 그룹화됩니다. 보다 균등한 배포를 위해 로그 데이터를 무작위로 그룹화할 수 있습니다.

로그 그룹 수준 구독의 경우 다음과 같은 주요 요소도 포함됩니다.

log_group_name

구독 필터에 연결되는 로그 그룹입니다. 이 로그 그룹에 업로드되는 모든 로그 이벤트는 구독 필터를 따르게 되며, 필터와 일치하는 로그 이벤트는 일치하는 로그 이벤트를 수신하는 대상 서비스로 전송됩니다.

계정 수준 구독의 경우 다음과 같은 주요 요소도 포함됩니다.

선택 기준

계정 수준 구독 필터가 적용된 로그 그룹을 선택하는 데 사용되는 기준입니다. 이를 지정하지 않으면 계정 수준의 구독 필터가 계정의 모든 로그 그룹에 적용됩니다. 이 필드는 무한 로그 루프를 방지하는 데 사용됩니다. 무한 로그 루프 문제에 대한 자세한 내용은 을 참조하십시오로그 재귀 방지.

선택 기준의 크기 제한은 25KB입니다.