亚马逊 OpenSearch Ingestion 中的关键概念

从 OpenSearch 摄取的角度来看，管道是指您在服务中 OpenSearch 创建的单个预置数据收集器。您可以将其视为整个 YAML 配置文件，其中包含一个或多个子管道。有关创建提取管道的步骤，请参阅创建管道。

您可以在 YAML 配置文件中定义子管道。每个子管道都由一个来源、一个缓冲区、零个或多个处理器以及一个或多个接收器组成。您可以在单个 YAML 文件中定义多个子管道，每个子管道都有唯一的来源、处理器和接收器。为了帮助监控 CloudWatch 和其他服务，我们建议您指定一个不同于其所有子管道的管道名称。

您可以在单个 YAML 文件中将多个子管道串在一起，这样一个子管道的源是另一个子管道，而其接收器是第三个子管道。有关示例，请参阅将采集管道与 C OpenSearch ollector 配合使用 OpenTelemetry。

子管道的输入组件。它定义了管道使用记录的机制。源可以处理事件，其方法是通过 HTTPS 接收事件，或从 Amazon S3 等外部端点读取事件。有两种类型的来源：基于推送的来源和基于拉动的来源。 Push-based 诸如 HTTP 和 oT el 日志之类的源将记录流式传输到摄取端点。 Pull-based诸如 oT el 跟踪和 S3 之类的来源，从源头提取数据。

中间处理单元，可以在将记录发布到接收器之前对其进行筛选、转换和扩充为所需格式。处理器是管道的可选组件。如果您未定义处理器，则记录将以源文件中定义的格式发布。可以有多个处理器。管道按照定义处理器的顺序来运行处理器。

子管道的输出组件。它定义了子管道将记录发布到的一个或多个目的地。 OpenSearch Ingestion 支持将 OpenSearch 服务域用作接收器。它还支持子管道作为接收器。这意味着您可以在单个 OpenSearch 摄取管道（YAML 文件）中将多个子管道串联在一起。 Self-managed OpenSearch 不支持将集群用作接收器。

处理器的一部分，在源和接收器之间充当缓冲层。您无法在管道中手动配置缓冲区。 OpenSearch 摄取使用默认的缓冲区配置。

处理器的一部分，可让管道作者仅向不同接收器发送符合特定条件的事件。