EMRFS S3-optimized 커밋 사용

EMRFS S3-optimized 커밋은 를 사용할 때 Amazon S3에 파일을 쓰는 데 최적화된 대체 OutputCommitter 구현입니다EMRFS. EMRFS S3-optimized 커밋은 작업 및 태스크 커밋 단계에서 Amazon S3에서 수행된 작업의 목록 및 이름을 변경하지 않음으로써 애플리케이션 성능을 개선합니다. 커밋은 Amazon EMR 릴리스 5.19.0 이상에서 사용할 수 있으며 기본적으로 Amazon EMR 5.20.0 이상에서 활성화됩니다. 커밋은 Spark SQL, DataFrames또는 데이터 세트를 사용하는 Spark 작업에 사용됩니다. Amazon EMR 6.4.0부터 이 커밋은 패킷, 및 텍스트 기반 형식( ORC및 포함)을 포함한 모든 일반적인 형식에 사용할 수 있습니다CSVJSON. Amazon EMR 6.4.0 이전 릴리스의 경우 Parquet 형식만 지원됩니다. 커미터가 사용되지 않는 상황이 있습니다. 자세한 내용은 EMRFS S3-optimized 커밋에 대한 요구 사항 단원을 참조하십시오.