Utilice la última versión AWS Glue

Nuevo entorno de ejecución optimizado de Apache Spark 3.3.0: la AWS Glue versión 4.0 se basa en el entorno de ejecución de Apache Spark 3.3.0 y ofrece mejoras de rendimiento comparables a las de Spark de código abierto. El tiempo de ejecución de Spark 3.3.0 se basa en muchas de las innovaciones de Spark 2.x.

Conector Amazon Redshift mejorado: las versiones AWS Glue 4.0 y posteriores proporcionan la integración de Amazon Redshift para Apache Spark. La integración se basa en un conector de código abierto existente y lo mejora en términos de rendimiento y seguridad. La integración ayuda a que las aplicaciones funcionen hasta 10 veces más rápido. Para obtener más información, consulte la entrada del blog sobre la integración de Amazon Redshift con Apache Spark.

SIMDejecución basada en lecturas vectorizadas con JSON datos CSV y lecturas: la AWS Glue versión 3.0 y las versiones posteriores incorporan lectores optimizados que pueden acelerar considerablemente el rendimiento general del trabajo en comparación con los lectores basados en filas. Para obtener más información sobre CSV los datos, consulte Optimizar el rendimiento de lectura con un lector vectorizado. SIMD CSV Para obtener más información sobre JSON los datos, consulte Uso de un SIMD JSON lector vectorizado con el formato de columnas Apache Arrow.