啟用 Amazon 5.19.0 的 EMRFS S3-optimized遞交者 EMR - Amazon EMR
在建立叢集時啟用 EMRFS S3-optimized遞交者從 Spark 啟用 EMRFS S3-optimized遞交者

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

啟用 Amazon 5.19.0 的 EMRFS S3-optimized遞交者 EMR

如果您使用的是 Amazon EMR 5.19.0 ，您可以在建立叢集true時手動將 spark.sql.parquet.fs.optimized.committer.optimization-enabled 屬性設定為 ，或者如果您使用的是 Amazon ，則可以在 Spark 中手動將 屬性設定為 EMR 。

在建立叢集時啟用 EMRFS S3-optimized遞交者

使用 spark-defaults 組態分類將 spark.sql.parquet.fs.optimized.committer.optimization-enabled 屬性設為 true。如需詳細資訊，請參閱設定應用程式。

從 Spark 啟用 EMRFS S3-optimized遞交者

您可以將 spark.sql.parquet.fs.optimized.committer.optimization-enabled 設為 true，方式是於 SparkConf 將其硬編碼，在 Spark shell 或 spark-submit 和 spark-sql 工具中或在 conf/spark-defaults.conf 將其做為 --conf 參數傳遞。如需詳細資訊，請參閱 Apache Spark 文件中的 Spark 組態。

以下範例示範如何在執行 spark-sql 命令時啟用遞交器。

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"