Usa il committer ottimizzato per S3 EMRFS

Il committer EMRFS ottimizzato per S3 è un'OutputCommitterimplementazione alternativa ottimizzata per la scrittura di file su Amazon S3 durante l'utilizzo. EMRFS Il committer EMRFS ottimizzato per S3 migliora le prestazioni delle applicazioni evitando le operazioni di elenco e ridenominazione eseguite in Amazon S3 durante le fasi di commit di job e task. Il committer è disponibile con Amazon EMR versione 5.19.0 e successive ed è abilitato per impostazione predefinita con Amazon EMR 5.20.0 e versioni successive. Il committer viene utilizzato per i job Spark che utilizzano Spark o Datasets. SQL DataFrames A partire da Amazon EMR 6.4.0, questo committer può essere utilizzato per tutti i formati più comuni, incluso il parquetORC, e i formati basati su testo (incluso e). CSV JSON Per le versioni precedenti ad Amazon EMR 6.4.0, è supportato solo il formato Parquet. Vi sono circostanze in cui il committer non viene utilizzato. Per ulteriori informazioni, consulta Requisiti per il committer ottimizzato per EMRFS S3.