选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

在 Amazon Data Firehose 中对流数据进行分区

聚焦模式
在 Amazon Data Firehose 中对流数据进行分区 - Amazon Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

动态分区使您能够使用数据中的键(例如 customer_idtransaction_id)对 Firehose 中的流数据进行连续分区,然后将按这些键分组的数据传输到相应的 Amazon Simple Storage Service(Amazon S3)前缀。这让您可以更轻松地使用 Amazon Athena、Amazon EMR、Amazon Redshift Spectrum 和 Amazon QuickSight 等各种服务对 Amazon S3 中的流数据进行高性能、经济高效的分析。此外,在需要额外处理的用例中,AWS Glue 可以在动态分区的流数据传输到 Amazon S3 后执行更复杂的提取、转换、加载(ETL)作业。

对数据进行分区可以最大限度地减少扫描的数据量,优化性能,并降低在 Amazon S3 上进行分析查询的成本, 还可以提高对数据的精细访问。传统上,Firehose 流用于捕获数据并将其加载到 Amazon S3 中。要对流数据集分区以进行基于 Amazon S3 的分析,您需要先在 Amazon S3 存储桶之间运行分区应用程序,然后才能将数据用于分析,这可能会变得复杂或昂贵。

通过动态分区,Firehose 使用动态或静态定义的数据键连续对传输中的数据进行分组,并按键将数据传输到各个 Amazon S3 前缀。这样可以缩短几分钟或几小时的洞察时间,还可以降低成本并简化架构。

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。