Migración de trabajos de AWS Glue para Spark a la versión 4.0 de AWS Glue

Se basa en Apache Spark 3.3.0, pero incluye optimizaciones en AWS Glue y Amazon EMR, tales como ejecuciones de consultas adaptativas, lectores vectorizados y combinación de particiones y mezclas aleatorias optimizadas.

Controladores JDBC actualizados para todos los orígenes nativos de AWS Glue, que incluyen MySQL, Microsoft SQL Server, Oracle, PostgreSQL, MongoDB, y bibliotecas y dependencias de Spark actualizadas introducidas por Spark 3.3.0.

Actualización con un nuevo conector de Amazon Redshift y un controlador JDBC.

Acceso optimizado a Amazon S3 con el sistema de archivos EMR (EMRFS) actualizado y confirmadores de salida optimizados de Amazon S3 habilitados de forma predeterminada.

Acceso optimizado al Catálogo de datos con índices de partición, predicados de inserción, lista de particiones y un cliente de metaalmacén de Hive actualizado.

Integración con Lake Formation para tablas de catálogo gobernadas con filtrado a nivel de celda y transacciones de lago de datos.

Reducción de la latencia de inicio para mejorar los tiempos generales de finalización del trabajo y la interactividad.

Los trabajos de Spark se facturan en incrementos de 1 segundo con una duración mínima de facturación 10 veces menor, de un mínimo de 10 minutos a un mínimo de 1 minuto.

Compatibilidad nativa con marcos de lagos de datos de código abierto con Apache Hudi, Delta Lake y Apache Iceberg.

Compatibilidad nativa con el complemento Cloud Shuffle Storage basado en Amazon S3 (un complemento de Apache Spark) a fin de usar Amazon S3 para la mezcla aleatoria y la capacidad de almacenamiento elástica.

Filtrado en tiempo de ejecución de fila (SPARK-32268).

Mejoras de ANSI (SPARK-38860).

Mejoras de los mensajes de error (SPARK-38781).

Compatibilidad de tipos complejos con el lector vectorizado de Parquet (SPARK-34863).

Compatibilidad de metadatos de archivos ocultos con Spark SQL (SPARK-37273).

Se proporciona un generador de perfiles para las UDF de Python o Pandas (SPARK-37443).

Se introduce Trigger.AvailableNow para ejecutar consultas de transmisión como Trigger.Once en varios lotes (SPARK-36533).

Capacidades de inserción de Datasource V2 más completas (SPARK-38788).

Migración de log4j 1 a log4j 2 (SPARK-37814).

Cambios bruscos

En AWS Glue Studio, elija Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 en Glue version.

En la API, elija 4.0 en el parámetro GlueVersion de la operación de la API UpdateJob.

En la consola, elija Spark 3.3, Python 3 (Glue Version 4.0) or Spark 3.3, Scala 2 (Glue Version 3.0) en Glue version.

En AWS Glue Studio, elija Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 en Glue version.

En la API, elija 4.0 en el parámetro GlueVersion de la operación de la API CreateJob.

¿Las bibliotecas externas de Python de su trabajo dependen de Python 2.7/3.6?

Todos los parámetros de trabajo existentes y las principales características que existen en AWS Glue 3.0 existirán en AWS Glue 4.0.

AWS Glue 3.0 utiliza Spark 3.1.1 optimizado para Amazon EMR y AWS Glue 4.0 utiliza Spark 3.3.0 optimizado para Amazon EMR.

Es posible que varios cambios de Spark por sí solos requieran la revisión de sus scripts para garantizar que no se haga referencia a las características eliminadas.

AWS Glue 4.0 también incluye una actualización de EMRFS y Hadoop. Para saber la versión específica, consulte Apéndice A: actualizaciones de dependencias importantes.

La versión de AWS SDK que se proporciona en los trabajos de ETL ahora se ha actualizado de la 1.11 a la 1.12.

Todos los trabajos de Python utilizarán la versión 3.10 de Python. Anteriormente, Python 3.7 se usaba en AWS Glue 3.0.

Como resultado, se actualizan algunos pymodules que AWS Glue incluye listos para usar.

Log4j se ha actualizado a Log4j2.

Para migrar determinados conectores, consulte Migración de conectores y controladores JDBC para AWS Glue 4.0.

Se actualizó el SDK de cifrado de AWS de 1.x a 2.x. Se ven afectados los trabajos de AWS Glue que utilizan configuraciones de seguridad de AWS Glue y los trabajos que dependen de la dependencia del SDK de cifrado de AWS proporcionada en tiempo de ejecución. Consulte las instrucciones para la migración de trabajos de AWS Glue.

Puede actualizar de forma segura un trabajo de AWS Glue 2.0 o 3.0 a un trabajo de AWS Glue 4.0 porque AWS Glue 2.0 o 3.0 ya contiene la versión puente del SDK de cifrado de AWS.

Upgrading from Spark SQL 3.1 to 3.2 (Actualización de Spark SQL 3.1 a 3.2)

Upgrading from Spark SQL 3.2 to 3.3 (Actualización de Spark SQL 3.2 a 3.3)

Todos los parámetros de trabajo existentes y las principales características que existen en AWS Glue 2.0 existirán en AWS Glue 4.0.

El confirmador optimizado para S3 de EMRFS para la escritura de datos de Parquet en Amazon S3 está habilitado de forma predeterminada a partir de AWS Glue 3.0. Sin embargo, todavía puede desactivarlo mediante la configuración de --enable-s3-parquet-optimized-committer a false.

AWS Glue 2.0 utiliza la versión 2.4 de Spark de código abierto y AWS Glue 4.0, la versión 3.3.0 optimizada para Amazon EMR.

La versión de AWS SDK que se proporciona en los trabajos de ETL ahora se ha actualizado de la 1.11 a la 1.12.

AWS Glue 4.0 también incluye una actualización de EMRFS, controladores JDBC actualizados e inclusiones de optimizaciones adicionales en Spark proporcionadas por AWS Glue.

Scala se actualiza a la versión 2.12 desde la 2.11, y Scala 2.12 no es compatible con Scala 2.11.

Python 3.10 es la versión predeterminada utilizada para los scripts de Python, ya que AWS Glue 2.0 solo utilizaba Python 3.7 y 2.7.

Varias actualizaciones de dependencias, destacadas en Apéndice A: actualizaciones de dependencias importantes.

Cualquier archivo JAR adicional suministrado en trabajos existentes de AWS Glue 2.0 puede traer dependencias conflictivas, ya que hubo actualizaciones en varias dependencias en la versión 4.0 con respecto a la 2.0. Puede evitar conflictos de classpath en AWS Glue 4.0 con el parámetro de trabajo --user-jars-first de AWS Glue.

AWS Glue 4.0 usa Spark 3.3. A partir de Spark 3.1, se produjo un cambio en el comportamiento de cargar/guardar marcas de tiempo desde archivos de parquet y hacia estos. Para obtener más información, consulte Actualización de Spark SQL 3.0 a 3.1

Recomendamos establecer los siguientes parámetros al leer y escribir datos de parquet que contengan columnas de marca temporal. La configuración de estos parámetros puede resolver el problema de incompatibilidad del calendario que se produce durante la actualización de Spark 2 a Spark 3, tanto para el marco dinámico de AWS Glue como para el marco de datos de Spark. Utilice la opción CORRECTED para leer el valor de fecha y hora tal como está; y la opción LEGACY para rebasar los valores de fecha y hora con respecto a la diferencia de calendario durante la lectura.

- Key: --conf
- Value: spark.sql.legacy.parquet.int96RebaseModeInRead=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.int96RebaseModeInWrite=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.datetimeRebaseModeInRead=[CORRECTED|LEGACY]

Para migrar determinados conectores, consulte Migración de conectores y controladores JDBC para AWS Glue 4.0.

Se actualizó el SDK de cifrado de AWS de 1.x a 2.x. Se ven afectados los trabajos de AWS Glue que utilizan configuraciones de seguridad de AWS Glue y los trabajos que dependen de la dependencia del SDK de cifrado de AWS proporcionada en tiempo de ejecución. Consulte estas instrucciones para la migración de trabajos de AWS Glue:

Upgrading from Spark SQL 2.4 to 3.0 (Actualización de Spark SQL 2.4 a 3.0)

Upgrading from Spark SQL 3.1 to 3.2 (Actualización de Spark SQL 3.1 a 3.2)

Upgrading from Spark SQL 3.2 to 3.3 (Actualización de Spark SQL 3.2 a 3.3)

Changes in Datetime behavior to be expected since Spark 3.0 (Cambios en el comportamiento de Datetime que se esperan a partir de Spark 3.0).

AWS Glue 1.0 utiliza la versión 2.4 de Spark de código abierto y AWS Glue 4.0, la versión 3.3.0 optimizada para Amazon EMR.

Todos los trabajos de AWS Glue 4.0 se ejecutarán con tiempos de inicio significativamente mejorados. Los trabajos de Spark se facturarán en incrementos de 1 segundo con una duración mínima de facturación 10 veces menor, ya que la latencia de inicio pasará de 10 minutos máximo a 1 minuto máximo.

El comportamiento del registro cambió significativamente en AWS Glue 4.0; Spark 3.3.0 tiene un requisito mínimo de Log4j2.

Varias actualizaciones de dependencias, que se destacan en el apéndice.

Scala también se actualiza a la versión 2.12 desde la 2.11, y Scala 2.12 no es compatible con Scala 2.11.

Python 3.10 es también la versión predeterminada utilizada para los scripts de Python, ya que AWS Glue 0.9 solo utilizaba Python 2.

Python 2.7 no es compatible con Spark 3.3.0. Cualquier trabajo que solicite Python 2 en la configuración del trabajo producirá un error con IllegalArgumentException.

Hay disponible un nuevo mecanismo para instalar módulos adicionales de Python mediante pip a partir de AWS Glue 2.0. Para obtener más información, consulte Instalación de módulos de Python adicionales con pip en AWS Glue 2.0+.

AWS Glue 4.0 no se ejecuta en Apache YARN, por lo que la configuración de YARN no se aplica.

AWS Glue 4.0 no tiene un Sistema de archivos distribuido de Hadoop (HDFS).

Cualquier archivo JAR adicional suministrado en trabajos existentes de AWS Glue 1.0 puede traer dependencias conflictivas, ya que hubo actualizaciones en varias dependencias en la versión 4.0 con respecto a la 1.0. Habilitamos AWS Glue 4.0 con el parámetro de trabajo de AWS Glue --user-jars-first de forma predeterminada para evitar este problema.

AWS Glue 4.0 admite el escalado automático. Por lo tanto, la métrica ExecutorAllocationManager estará disponible cuando se habilite el escalado automático.

Para trabajos de la versión 4.0 de AWS Glue, debe especificar el número de procesos de trabajo y el tipo de proceso de trabajo, pero no un valor de maxCapacity.

Los trabajos de AWS Glue 4.0 todavía no admiten transformaciones de machine learning.

Para migrar determinados conectores, consulte Migración de conectores y controladores JDBC para AWS Glue 4.0.

Se actualizó el SDK de cifrado de AWS de 1.x a 2.x. Se ven afectados los trabajos de AWS Glue que utilizan configuraciones de seguridad de AWS Glue y los trabajos que dependen de la dependencia del SDK de cifrado de AWS proporcionada en tiempo de ejecución. Consulte estas instrucciones para la migración de trabajos de AWS Glue.

Upgrading from Spark SQL 2.4 to 3.0 (Actualización de Spark SQL 2.4 a 3.0)

Upgrading from Spark SQL 3.0 to 3.1 (Actualización de Spark SQL 3.0 a 3.1)

Upgrading from Spark SQL 3.1 to 3.2 (Actualización de Spark SQL 3.1 a 3.2)

Upgrading from Spark SQL 3.2 to 3.3 (Actualización de Spark SQL 3.2 a 3.3)

Changes in Datetime behavior to be expected since Spark 3.0 (Cambios en el comportamiento de Datetime que se esperan a partir de Spark 3.0).

AWS Glue 0.9 utiliza la versión 2.2.1 de Spark de código abierto y AWS Glue 4.0, la versión 3.3.0 optimizada para Amazon EMR.

Todos los trabajos de AWS Glue 4.0 se ejecutarán con tiempos de inicio significativamente mejorados. Los trabajos de Spark se facturarán en incrementos de 1 segundo con una duración mínima de facturación 10 veces menor, porque la latencia de inicio pasará de un máximo de 10 minutos a un máximo de 1 minuto.

El comportamiento del registro cambió significativamente a partir de AWS Glue 4.0; Spark 3.3.0 tiene un requisito mínimo de Log4j2, como se menciona aquí (https://spark.apache.org/docs/latest/core-migration-guide.html#upgrading-from-core-32-to-33).

Varias actualizaciones de dependencias, que se destacan en el apéndice.

Scala también se actualiza a la versión 2.12 desde la 2.11, y Scala 2.12 no es compatible con Scala 2.11.

Python 3.10 es también la versión predeterminada utilizada para los scripts de Python, ya que AWS Glue 0.9 solo utilizaba Python 2.

AWS Glue 4.0 no se ejecuta en Apache YARN, por lo que la configuración de YARN no se aplica.

AWS Glue 4.0 no tiene un Sistema de archivos distribuido de Hadoop (HDFS).

Cualquier archivo JAR adicional suministrado en trabajos existentes de AWS Glue 0.9 puede traer dependencias conflictivas, ya que hubo actualizaciones en varias dependencias en la versión 3.0 con respecto a la 0.9. Puede evitar conflictos de classpath en AWS Glue 3.0 con el parámetro de trabajo --user-jars-first de AWS Glue.

AWS Glue 4.0 admite el escalado automático. Por lo tanto, la métrica ExecutorAllocationManager estará disponible cuando se habilite el escalado automático.

Para trabajos de la versión 4.0 de AWS Glue, debe especificar el número de procesos de trabajo y el tipo de proceso de trabajo, pero no un valor de maxCapacity.

Los trabajos de AWS Glue 4.0 todavía no admiten transformaciones de machine learning.

Para migrar determinados conectores, consulte Migración de conectores y controladores JDBC para AWS Glue 4.0.

Se actualizó el SDK de cifrado de AWS de 1.x a 2.x. Se ven afectados los trabajos de AWS Glue que utilizan configuraciones de seguridad de AWS Glue y los trabajos que dependen de la dependencia del SDK de cifrado de AWS proporcionada en tiempo de ejecución. Consulte estas instrucciones para la migración de trabajos de AWS Glue.

Upgrading from Spark SQL 2.2 to 2.3 (Actualización de Spark SQL 2.2 a 2.3)

Upgrading from Spark SQL 2.3 to 2.4 (Actualización de Spark SQL 2.3 a 2.4)

Upgrading from Spark SQL 2.4 to 3.0 (Actualización de Spark SQL 2.4 a 3.0)

Upgrading from Spark SQL 3.0 to 3.1 (Actualización de Spark SQL 3.0 a 3.1)

Upgrading from Spark SQL 3.1 to 3.2 (Actualización de Spark SQL 3.1 a 3.2)

Upgrading from Spark SQL 3.2 to 3.3 (Actualización de Spark SQL 3.2 a 3.3)

Changes in Datetime behavior to be expected since Spark 3.0 (Cambios en el comportamiento de Datetime que se esperan a partir de Spark 3.0).

Apéndice B: actualizaciones de controladores JDBC

Apéndice C: actualizaciones del conector

Mejoras de compatibilidad de Spark SQL:

Cualquier tabla de Hudi creada antes de la versión 0.10.0 sin un campo primaryKey tiene que volver a crearse con un campo primaryKey a partir de la versión 0.10.0.

Se corrigieron varias vulnerabilidades (CVE).

Java 8 es compatible de forma nativa.

Si el trabajo utiliza matrices de matrices, con la excepción de las matrices de bytes, dicho escenario se puede tratar como matrices multidimensionales.

El conector de MongoDB actual es compatible con la versión 3.1 o posteriores de Spark y con la versión 4.0 o posteriores de MongoDB.

Debido a la actualización del conector, se modificaron los nombres de algunas propiedades. Por ejemplo, el nombre de la propiedad de URI se cambió a connection.uri. Para obtener más información sobre las opciones actuales, consulte el blog sobre el conector de Spark de MongoDB.

El uso de la versión 4.0 de MongoDB alojada por Amazon DocumentDB presenta algunas diferencias funcionales. Para obtener más información, consulte estos temas:

La opción “partitioner” se restringe a ShardedPartitioner, PaginateIntoPartitionsPartitioner y SinglePartitionPartitioner. No puede usar los valores predeterminados SamplePartitioner y PaginateBySizePartitioner para Amazon DocumentDB porque el operador de etapas no admite la API de MongoDB. Para obtener más información, consulte Supported MongoDB APIs, Operations, and Data Types (API, operaciones y tipos de datos de MongoDB admitidos).

Delta Lake ahora admite viajes en el tiempo en SQL para consultar datos antiguos con facilidad. Con esta actualización, los viajes en el tiempo ahora están disponibles tanto en Spark SQL como a través de la API de DataFrame. Se agregó compatibilidad con la versión actual de TIMESTAMP en SQL.

Spark 3.3 presenta Trigger.AvailableNow para ejecutar consultas de transmisión como equivalente a Trigger.Once para las consultas por lotes. Esta compatibilidad también está disponible cuando se utilizan tablas Delta como origen de transmisión.

Compatibilidad con SHOW COLUMNS para devolver la lista de columnas de una tabla.

Compatibilidad con DESCRIBE DETAIL en la API de DeltaTable de Python y Scala. Recupera información detallada sobre una tabla Delta mediante la API de DeltaTable o Spark SQL.

Compatibilidad para devolver métricas de operaciones de los comandos Delete, Merge y Update de SQL. Anteriormente, estos comandos de SQL devolvían un DataFrame vacío y ahora devuelven un DataFrame con métricas útiles sobre la operación hecha.

Optimice las mejoras de rendimiento:

Otros cambios notables:

Se agregaron varias mejoras de rendimiento para la planificación de análisis y las consultas de Spark.

Se agregó un cliente de catálogo REST común que usa confirmaciones basadas en cambios para resolver conflictos de confirmación en el lado del servicio.

Se admite la sintaxis AS OF para las consultas de viajes en el tiempo de SQL.

Se agregó compatibilidad de combinación en lectura para las consultas MERGE y UPDATE.

Se agregó compatibilidad para reescribir particiones con el orden Z.

Se agregaron una especificación y una implementación para Puffin, un formato para estadísticas y blobs de índice grandes, como bocetos de Theta o filtros de Bloom.

Se agregaron nuevas interfaces para consumir datos de forma incremental (análisis de registros de cambios y anexos).

Se agregó compatibilidad con operaciones masivas y lecturas por intervalos en las interfaces de FileIO.

Se agregaron más tablas de metadatos para mostrar los archivos eliminados en el árbol de metadatos.

El comportamiento de eliminación de tabla cambió. En Iceberg 0.13.1, la ejecución de DROP TABLE elimina la tabla del catálogo, así como su contenido. En Iceberg 1.0.0, DROP TABLE solo elimina la tabla del catálogo. Para eliminar el contenido de la tabla, utilice DROP TABLE PURGE.

Las lecturas vectorizadas de Parquet están habilitadas de forma predeterminada en Iceberg 1.0.0. Si desea deshabilitar las lecturas vectorizadas, establezca el valor de read.parquet.vectorization.enabled en false.