本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
為 Amazon EMR 5.19.0 啟用 EMRFS S3 優化遞交者
如果您使用的是 Amazon EMR 5.19.0,您可以在使用 Amazon EMR 建立叢集時或從 Spark 中手動將此 spark.sql.parquet.fs.optimized.committer.optimization-enabled
屬性設為 true
。
在建立叢集時啟用 EMRFS S3 優化遞交者
使用 spark-defaults
組態分類將 spark.sql.parquet.fs.optimized.committer.optimization-enabled
屬性設為 true
。如需詳細資訊,請參閱設定應用程式。
從 Spark 啟用 EMRFS S3 優化遞交者
您可以將 spark.sql.parquet.fs.optimized.committer.optimization-enabled
設為 true
,方式是於 SparkConf
將其硬編碼,在 Spark shell 或 spark-submit
和 spark-sql
工具中或在 conf/spark-defaults.conf
將其做為 --conf
參數傳遞。如需詳細資訊,請參閱 Apache Spark 文件中的 Spark 組態
以下範例示範如何在執行 spark-sql 命令時啟用遞交器。
spark-sql \
--conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
-e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"