选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

使用经 EMRFS S3 优化的提交协议 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用经 EMRFS S3 优化的提交协议

EMRFS S3 优化的提交协议是一种替代FileCommitProtocol实现,它经过优化,可在使用 EMRFS 时将带有 Spark 动态分区覆盖的文件写入 Amazon S3。该协议可在 Spark 动态分区覆盖任务提交阶段避免 Amazon S3 中的重命名操作,从而提高应用程序性能。

请注意,使用经 EMRFS S3 优化的提交程序 也可以通过避免重命名操作来提高性能。但是,它不适用于动态分区覆盖情况,同时提交协议的改进仅针对动态分区覆盖情况。

提交协议适用于 Amazon EMR 发行版 5.30.0 及更高版本,在 Amazon EMR 6.2.0 及更高版本中将默认启用。从发行版 5.31.0 开始,Amazon EMR 增加了并行性改进。该协议用于使用 Spark DataFrames、或数据集的 Spark 作业。在某些情况下,不使用提交协议。有关更多信息,请参阅 经 EMRFS S3 优化的提交协议的要求

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。