View a markdown version of this page

CloudWatch 파이프라인 - Amazon CloudWatch
파이프라인 구성요소가격 책정리전 가용성

CloudWatch 파이프라인

CloudWatch 파이프라인은 AWS 서비스, 서드 파티 애플리케이션 및 사용자 지정 소스에서 CloudWatch로 로그와 지표를 포함한 원격 분석 데이터를 수집, 변환 및 라우팅하는 완전관리형 데이터 수집기입니다. 기본 제공 프로세서를 사용하면 인프라 또는 서드 파티 도구를 관리하지 않고도 로그를 OCSF와 같은 형식으로 보강, 필터링 및 표준화할 수 있습니다. 지표의 경우 CloudWatch 파이프라인은 CloudWatch로 수집하는 동안 OpenTelemetry(OTel) 지표를 인라인으로 처리하고 보강합니다.

CloudWatch 파이프라인은 로그 관리 경험과 완벽하게 통합되어 데이터 소스 및 데이터 유형 사양을 통해 관련된 여러 로그 그룹에서 로그 데이터를 일관되게 처리하고 보강할 수 있습니다. 이를 기반으로 다음과 같은 사용 사례를 지원합니다.

  • 자동 로그 분류 - 파이프라인을 통해 처리된 로그에는 데이터 소스 정보로 태그가 자동으로 지정되므로 인프라 전체에서 서비스 중심 검색 및 쿼리를 지원함

  • 서드 파티 지원 확장 - 통합 분석 및 규정 준수를 위해 계속 증가하는 서드 파티 소스 라이브러리에서 로그를 집계하고 정규화함

CloudWatch 파이프라인은 지표와 관련하여 다음 사용 사례를 지원합니다.

  • 보강 – 수정할 수 없는 소스의 지표에 팀, 비용 센터 또는 환경과 같은 비즈니스 컨텍스트 추가

  • 비용 최적화 – 높은 카디널리티 속성을 제거하여 스토리지 비용 절감

  • 표준화 – 지표 및 속성의 이름을 변경하여 이름 지정 규칙 적용

파이프라인의 출력은 Logs Insights 쿼리, Logs 이상 탐지 및 Live Tail을 포함한 CloudWatch Logs 기능과 완벽하게 호환됩니다. CloudWatch 파이프라인은 Standard 및 Infrequent Access 로그 클래스 모두에서 작동하며, 로그 트랜스포머와 역호환됩니다.

지표 파이프라인의 경우 처리된 지표는 Query Studio의 PromQL을 통해 완전히 쿼리할 수 있으며 CloudWatch 경보 및 이상 탐지와 호환됩니다.

CloudWatch 파이프라인을 시작하려면 CloudWatch 콘솔의 CloudWatch 수집 페이지에서 파이프라인을 방문하세요.

참고

CloudWatch 파이프라인에 적용되는 다음과 같은 제한 사항에 유의해야 합니다.

  • 계정당 로그 파이프라인 수: 330

    • CloudWatch Logs에서 데이터를 수집할 수 있는 최대 파이프라인 수 300개

    • 다른 소스에서 데이터를 수집할 수 있는 최대 파이프라인 수 30개

  • 계정당 지표 파이프라인 수: 최대 300개

  • 파이프라인당 최대 20개의 프로세서(로그 및 지표)

  • 지표 파이프라인 지원 수집 경로: OTLP만 해당

파이프라인 구성요소

각 파이프라인은 다음과 같은 구성 요소로 이루어집니다.

  • 소스 - 데이터가 시작되는 위치(Amazon S3 버킷, CloudWatch Logs, CloudWatch Metrics(OTel), 서드 파티 통합)를 정의합니다. 각 파이프라인에는 정확히 1개의 소스가 있어야 합니다. 지표 파이프라인은 OTLP 수집 경로에서 OTel 지표를 처리합니다.

  • 프로세서(선택 사항) - 파이프라인을 통해 로그 데이터가 전달될 때 원격 분석 데이터를 변환, 구문 분석 및 보강합니다. 프로세서는 정의된 순서대로 순차적으로 적용됩니다. 지표 파이프라인은 OTel 지표 속성에 최적화된 고유한 프로세서 세트를 지원합니다.

  • 싱크 - 처리된 데이터가 전송되는 대상을 정의합니다. 지원되는 싱크 유형에는 cloudwatch_logs 및 cloudwatch_metrics가 있습니다. 각 파이프라인에는 정확히 1개의 싱크가 있어야 합니다.

  • 확장(선택 사항) - 자격 증명 관리를 위한 AWS Secrets Manager 통합과 같은 추가 기능을 제공합니다.

전체 파이프라인에서 데이터는 전송 계층 암호화로 보호되므로 보안 및 규정 준수 요구 사항을 충족합니다.

참고

파이프라인 정의는 고객이 제공한 키로 암호화되지 않으며 암호, API 키 또는 개인 식별 정보(PII)와 같은 민감한 데이터를 포함해서는 안 됩니다.

참고

프로세서를 추가하면 로그 이벤트가 변동되며 원본(원시) 로그는 유지되지 않습니다.

가격 책정

CloudWatch 파이프라인은 추가 비용 없이 CloudWatch Logs에 포함됩니다. 로그 클래스(벤딩 또는 사용자 지정) 및 스토리지 클래스(Standard 또는 Infrequent Access)에 기반하여 표준 로그 수집 속도는 계속 적용됩니다. CloudWatch로 데이터를 처음 수집할 때 측정이 수행됩니다. CloudWatch Logs 소스는 파이프라인 처리 전에 측정됩니다. 서드 파티 및 S3 버킷 소스는 사용자 지정 로그로 분류되며 처리 후 측정됩니다. 요금에 대한 자세한 내용은 CloudWatch 요금을 참조하세요.

지표 파이프라인의 경우 표준 CloudWatch OTel 지표 수집 및 스토리지 요금이 적용됩니다. 파이프라인 처리에 대한 추가 요금은 없습니다.

리전 가용성

CloudWatch 파이프라인은 다음과 같은 AWS 리전에서 사용할 수 있습니다.

  • 미국 동부(버지니아 북부)

  • 미국 동부(오하이오)

  • 미국 서부(캘리포니아 북부)

  • 미국 서부(오리건)

  • 아프리카(케이프타운)

  • 아시아 태평양(홍콩)

  • 아시아 태평양(하이데라바드)

  • 아시아 태평양(자카르타)

  • 아시아 태평양(말레이시아)

  • 아시아 태평양(멜버른)

  • 아시아 태평양(뭄바이)

  • 아시아 태평양(뉴질랜드)

  • 아시아 태평양(오사카)

  • 아시아 태평양(서울)

  • 아시아 태평양(싱가포르)

  • 아시아 태평양(시드니)

  • 아시아 태평양(타이베이)

  • 아시아 태평양(태국)

  • 아시아 태평양(도쿄)

  • 캐나다(중부)

  • 캐나다 서부(캘거리)

  • 유럽(프랑크푸르트)

  • 유럽(아일랜드)

  • 유럽(런던)

  • 유럽(밀라노)

  • 유럽(파리)

  • 유럽(스페인)

  • 유럽(스톡홀름)

  • 유럽(취리히)

  • 이스라엘(텔아비브)

  • 멕시코(중부)

  • 남아메리카(상파울루)

참고

서드 파티 데이터 소스 수집은 OpenSearch Ingestion에 API 엔드포인트가 있는 리전에서 사용할 수 있습니다.

자세한 내용은 AWS 일반 참조의 Amazon CloudWatch 엔드포인트 및 할당량 섹션을 참조하세요.