Use o committer EMRFS otimizado para S3

O committer EMRFS otimizado para S3 é uma OutputCommitterimplementação alternativa que é otimizada para gravar arquivos no Amazon S3 durante o uso. EMRFS O committer EMRFS otimizado para S3 melhora o desempenho do aplicativo ao evitar operações de lista e renomeação realizadas no Amazon S3 durante as fases de confirmação de tarefas e trabalhos. O committer está disponível com a Amazon EMR versão 5.19.0 e posterior e está habilitado por padrão com o Amazon EMR 5.20.0 e versões posteriores. O committer é usado para trabalhos do Spark que usam Spark ou conjuntos de SQL dados DataFrames. A partir do Amazon EMR 6.4.0, esse committer pode ser usado para todos os formatos comunsORC, incluindo parquet e formatos baseados em texto (incluindo e). CSV JSON Para versões anteriores ao Amazon EMR 6.4.0, somente o formato Parquet é suportado. Há circunstâncias em que o committer não é usado. Para obter mais informações, consulte Requisitos para o committer otimizado para EMRFS S3.