As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Habilite o committer EMRFS otimizado para S3 para o Amazon 5.19.0 EMR

Se você estiver usando o Amazon EMR 5.19.0, poderá definir manualmente a spark.sql.parquet.fs.optimized.committer.optimization-enabled propriedade para true quando criar um cluster ou de dentro do Spark se estiver usando a Amazon. EMR

Habilitando o committer EMRFS otimizado para S3 ao criar um cluster

Use a classificação de configuração spark-defaults para definir a propriedade spark.sql.parquet.fs.optimized.committer.optimization-enabled como true. Para obter mais informações, consulte Configurar aplicações.

Habilitando o committer EMRFS otimizado para S3 do Spark

Você pode definir spark.sql.parquet.fs.optimized.committer.optimization-enabled como true codificando-o em um SparkConf, transmitindo-o como um parâmetro --conf no shell Spark ou nas ferramentas spark-submit e spark-sql ou em conf/spark-defaults.conf. Para obter mais informações, consulte Configuração do Spark na documentação do Apache Spark.

O exemplo a seguir mostra como habilitar o committer ao executar um comando spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"