EMRFS S3-optimizedコミッターを使用する

EMRFS S3-optimizedコミッターは、 を使用するときに Amazon S3 にファイルを書き込むために最適化されている代替OutputCommitter実装ですEMRFS。EMRFS S3-optimizedコミッターは、ジョブとタスクのコミットフェーズ中に Amazon S3 で実行されるリスト操作と名前変更操作を回避することで、アプリケーションのパフォーマンスを向上させます。コミッターは Amazon EMRリリース 5.19.0 以降で使用でき、Amazon EMR 5.20.0 以降ではデフォルトで有効になっています。コミッターは、Spark SQL、 DataFrames、またはデータセットを使用する Spark ジョブに使用されます。Amazon EMR 6.4.0 以降、このコミッターは、parquet、、およびテキストベースの形式 ( CSV ORCおよび を含むJSON) を含むすべての一般的な形式に使用できます。Amazon 6.4.0 より前のリリースでは、Parquet EMR 形式のみがサポートされています。コミッターが使用されない状況があります。詳細については、「EMRFS S3-optimizedコミッターの要件」を参照してください。