View a markdown version of this page

亚马逊 OpenSearch 摄取概述 - 亚马逊 OpenSearch 服务
优势支持的 Data Prepper 版本定价支持 AWS 区域

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 OpenSearch 摄取概述

Amaz OpenSearch on Ingestion 是一个完全托管的无服务器数据收集器，可将实时日志、指标和跟踪数据传输到亚马逊 OpenSearch 服务域和 OpenSearch 无服务器集合。

有了 OpenSearch 摄取，你不再需要像 Logstash 或 Jaeger 这样的第三方工具来摄取数据。您可以将数据创建器配置为将数据发送到 OpenSearch Ingestion，它会自动将其交付到您指定的域或集合。您也可以在传输之前对数据进行转换。

由于 OpenSearch Ingestion 是无服务器的，因此您无需管理基础架构、修补软件或手动扩展集群。您可以直接在中预置摄取管道 AWS 管理控制台，其余的由 OpenSearch 摄取处理。

作为亚马逊 OpenSearch 服务的一个组成部分， OpenSearch Ingestion 由 Data Prepper 提供支持。Data Prepper 是一个开源数据收集器，用于筛选、丰富、转换、标准化和聚合数据，用于下游分析和可视化。

数据源通过采集管道流动，将数据存储在 OpenSearch Service 域中。

亚马逊 OpenSearch 摄取的好处

OpenSearch 摄取有以下主要好处：

  • 无需您手动管理自行预调配的管道。

  • 根据您定义的容量限制自动扩缩管道。

  • 通过安全补丁和错误补丁让您的管道保持最新状态。

  • 提供将管道连接到您的虚拟私有云 (VPC) 的选项，以增加安全层。

  • 可让您停止和启动管道以控制成本。

  • 为常见用例提供管道配置蓝图，以帮助您更快地启动和运行。

  • 允许您通过各种 AWS SDK 和 OpenSearch Ingestion API 以编程方式与管道进行交互。

  • 支持亚马逊的性能监控 CloudWatch 和 CloudWatch 日志中的错误记录。

支持的 Data Prepper 版本

OpenSearch 摄取目前支持以下主要版本的 Data Prepper：

  • 2.x

使用代码编辑器创建管道时，使用必需的 version 选项指定要使用的 Data Prepper 的主要版本。例如，version: "2"。 OpenSearch Ingestion 会检索该主要版本支持的最新次要版本，并为管道配置该版本。

如果您不使用代码编辑器创建管道， OpenSearch Ingestion 会自动为您的管道配置最新的支持版本。

目前， OpenSearch Ingestion 使用 Data Prepper 的 2.7 版配置管道。有关更多信息，请参阅 2.7 发布说明。并非特定主要版本的每个次要版本都受 OpenSearch Ingestion支持。

当您更新管道的配置时，如果支持新的次要版本的 Data Prepper， OpenSearch Ingestion 会自动将管道升级到管道配置中指定的主要版本的最新支持的次要版本。例如，您的管道配置version: "2"中可能有，而 OpenSearch Ingestion 最初使用版本 2.6.0 预置管道。添加对版本 2.7.0 的支持并更改管道配置后， OpenSearch Ingestion 会将管道升级到版本 2.7.0。此过程可让您的管道及时获取最新错误修复和性能改进。 OpenSearch 除非您手动更改管道配置中的version选项，否则摄取无法更新管道的主要版本。有关更多信息，请参阅 更新 Amazon OpenSearch Ingestion 管道。

OpenSearch 摄取定价

在任何具体时间，您只需为分配给管道的 Ingestion OCU 数量付费，无论是否有数据流经管道。 OpenSearch 通过根据使用情况向上或向下扩展管道容量，Ingestion 可立即容纳您的工作负载。

有关完整定价详情，请参阅亚马逊 OpenSearch 服务定价。

支持 AWS 区域

OpenSearch 在该 OpenSearch 服务的子集中， AWS 区域 可以进行摄取。有关支持的区域列表，请参阅中的亚马逊 OpenSearch 服务终端节点和配额AWS 一般参考。