亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
什么是亚马逊 Data Firehose?
Amazon Data Firehose 是一项完全托管的服务,用于向亚马逊简单存储服务 (Amazon S3)、亚马逊 Redshift、亚马逊服务、亚马逊无服务器、Splunk 以及支持的第三方服务提供商拥有的任何自定义 HTTP 终端节点或 HTTP 终端节点(包括 Datadog、Dynatrac LogicMonitor e、MongoDB、New Relic、Alogix 和 Elastic。
有关 AWS 大数据解决方案的更多信息,请参阅上的 Big Data AWS
注意
请注意适用于 Amazon MSK 的最新AWS 流数据解决方案
学习关键概念
在开始使用 Amazon Data Firehose 时,您可以从了解以下概念中受益:
- Firehose 直播
-
亚马逊 Data Firehose 的底层实体。您可以通过创建 Firehose 流然后向其发送数据来使用 Amazon Data Firehose。有关更多信息,请参阅 创建 Firehose 直播 和 向 Firehose 直播发送数据。
- 记录
-
您的数据生成器发送到 Firehose 流的感兴趣数据。记录最大可达 1000 KB。
- 数据创建器
-
制作人向 Firehose 直播发送记录。例如,向 Firehose 流发送日志数据的 Web 服务器就是数据生成器。您还可以将 Firehose 流配置为自动从现有 Kinesis 数据流中读取数据,然后将其加载到目的地。有关更多信息,请参阅 向 Firehose 直播发送数据。
- 缓冲区大小和缓冲间隔
-
Amazon Data Firehose 会将传入的流数据缓冲到一定大小或一段时间,然后再将其传送到目的地。 Buffer Size以 MB 为单位,以秒Buffer Interval为单位。
了解 Amazon Data Firehose 中的数据流
对于 Amazon S3 目标,流数据将传输到您的 S3 存储桶。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。
![适用于亚马逊 S3 的 Amazon Data Firehose 数据流](images/fh-flow-s3.png)
对于 Amazon Redshift 目标,流数据将传输到您的 S3 存储桶。然后,Amazon Data Firehose 发出亚马逊 COPY Redshift 命令,将数据从 S3 存储桶加载到亚马逊 Redshift 集群。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。
![适用于亚马逊 Redshift 的亚马逊 Data Firehose 数据流](images/fh-flow-rs.png)
对于 OpenSearch 服务目标,流数据将传输到您的 OpenSearch服务集群,并且可以选择将其同时备份到您的 S3 存储桶。
![Amazon Data Firehose 服务数据流 OpenSearch](images/fh-flow-es.png)
对于 Splunk 目标,流数据将传输到 Splunk,并且可以选择将流数据同时备份到 S3 存储桶中。
![适用于 Splunk 的 Amazon Data Firehose 数据流](images/fh-flow-splunk.png)