# CloudWatch 管道
<a name="cloudwatch-pipelines"></a>

CloudWatch 管道是一个完全托管的数据收集器，用于从 AWS 服务、第三方应用程序和自定义来源摄取和转换日志数据，并将其路由到 CloudWatch。内置处理器能够让您对日志进行丰富、筛选和标准化处理，使其符合 OCSF 之类的格式，而无需管理基础设施或第三方工具。

CloudWatch 管道与[日志管理体验](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/data-source-discovery-management.html)完全集成，使您能够通过数据来源和数据类型规范，在相关日志组范围内一致地处理和丰富日志数据。这可以解锁类似下面的使用案例：
+ **自动对日志进行分类**：通过管道处理的日志会自动标记上数据来源信息，从而能够实现以服务为中心的基础设施范围内的发现和查询操作
+ **扩大对第三方的支持**：对来自不断扩大的第三方来源的日志进行汇总和规范化处理，以便实现统一的分析和合规管理

管道的输出完全兼容 CloudWatch Logs 的各项功能，包括 Logs Insights 查询、日志异常检测和 Live Tail。CloudWatch 管道既适用于标准访问日志类别，也适用于非频繁访问日志类别，并且向后兼容日志转换器。

要开始使用 CloudWatch 管道，请访问 CloudWatch 控制台中的 [CloudWatch 摄取页面中的管道](https://console.aws.amazon.com/cloudwatch/home?#/telemetry-config:pipelines?useCase=All)。

**注意**  
请注意，CloudWatch 管道适用以下限制条件  
每个账户的管道最大数量：330 个  
从 CloudWatch Logs 收集数据的管道最多可创建 300 个
从其他数据来源收集数据的管道最多可创建 30 个 

## 管道组件
<a name="pipeline-components"></a>

每个管道包括以下组成部分：
+ **来源**：定义数据的来源（Amazon S3 存储桶、CloudWatch Logs、第三方集成）。每条管道必须恰好有一个来源。
+ **处理器**（可选）：在日志数据流经管道时，对数据进行转换、解析和丰富。将处理器按照定义处理器的顺序依次应用。
+ **接收器**：定义了已处理日志数据的发送目标。每条管道必须恰好有一个接收器。
+ **扩展**（可选）：提供其他功能，例如用于凭证管理的 AWS Secrets Manager 集成。

在整个管道中，您的数据都通过传输层加密进行保护，从而确保满足安全性和合规性要求。

**注意**  
管道定义本身不加密，切勿在其中包含个人身份信息（PII）等敏感数据。

**注意**  
添加处理器会导致日志事件发生变更，且原始日志不会被保留。

## 定价
<a name="pipeline-pricing"></a>

CloudWatch Logs 中包含了 CloudWatch 管道，无需额外费用。基于日志类别（已出售或自定义）和存储类别（标准或低频率访问）的标准日志摄入费率仍然适用。计量在第一次摄取到 CloudWatch 时进行。CloudWatch Logs 的来源在管道处理之前进行计量。第三方和 S3 存储桶源被分类为自定义日志，并在处理后进行计量。有关定价详细信息，请参阅 [CloudWatch 定价](https://aws.amazon.com/cloudwatch/pricing/)。

## 区域可用性
<a name="pipeline-region-availability"></a>

CloudWatch 管道在以下 AWS 区域提供服务：
+ 美国东部（弗吉尼亚州北部）
+ 美国东部（俄亥俄州）
+ 美国西部（北加利福尼亚）
+ 美国西部（俄勒冈州）
+ 非洲（开普敦）
+ 亚太地区（香港）
+ 亚太地区（海得拉巴）
+ 亚太地区（雅加达）
+ 亚太地区（马来西亚）
+ 亚太地区（墨尔本）
+ 亚太地区（孟买）
+ 亚太地区（新西兰）
+ 亚太地区（大阪）
+ 亚太地区（首尔）
+ 亚太地区（新加坡）
+ 亚太地区（悉尼）
+ 亚太地区（台北）
+ 亚太地区（泰国）
+ 亚太地区（东京）
+ 加拿大（中部）
+ 加拿大西部（卡尔加里）
+ 欧洲地区（法兰克福）
+ 欧洲地区（爱尔兰）
+ 欧洲地区（伦敦）
+ 欧洲地区（米兰）
+ 欧洲地区（巴黎）
+ 欧洲（西班牙）
+ 欧洲地区（斯德哥尔摩）
+ 欧洲（苏黎世）
+ 以色列（特拉维夫）
+ 墨西哥（中部）
+ 南美洲（圣保罗）

**注意**  
第三方数据来源收集功能，仅在 [OpenSearch Ingestion 服务部署了 API 端点](https://docs.aws.amazon.com/general/latest/gr/opensearch-service.html)的区域可用。

有关更多信息，请参阅《AWS 一般参考》**中的 [Amazon CloudWatch 端点和配额](https://docs.aws.amazon.com/general/latest/gr/cw_region.html)。

**Topics**