選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

為 Amazon EMR 5.19.0 啟用 EMRFS S3 優化遞交者 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

為 Amazon EMR 5.19.0 啟用 EMRFS S3 優化遞交者

如果您使用的是 Amazon EMR 5.19.0,您可以在使用 Amazon EMR 建立叢集時或從 Spark 中手動將此 spark.sql.parquet.fs.optimized.committer.optimization-enabled 屬性設為 true

在建立叢集時啟用 EMRFS S3 優化遞交者

使用 spark-defaults 組態分類將 spark.sql.parquet.fs.optimized.committer.optimization-enabled 屬性設為 true。如需詳細資訊,請參閱設定應用程式

從 Spark 啟用 EMRFS S3 優化遞交者

您可以將 spark.sql.parquet.fs.optimized.committer.optimization-enabled 設為 true,方式是於 SparkConf 將其硬編碼,在 Spark shell 或 spark-submitspark-sql 工具中或在 conf/spark-defaults.conf 將其做為 --conf 參數傳遞。如需詳細資訊,請參閱 Apache Spark 文件中的 Spark 組態

以下範例示範如何在執行 spark-sql 命令時啟用遞交器。

spark-sql \ --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \ -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"
隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。