Migrazione dei processi AWS Glue per Spark ad AWS Glue versione 4.0

Si basa su Apache Spark 3.3.0, ma presenta ottimizzazioni in AWS Glue e Amazon EMR, come esecuzioni adattive delle query, lettori vettorizzati e shuffle e coalescenza delle partizioni ottimizzati.

Driver JDBC aggiornati per tutte le origini native di AWS Glue, inclusi MySQL, Microsoft SQL Server, Oracle, PostgreSQL, MongoDB e le librerie e le dipendenze Spark aggiornate introdotte da Spark 3.3.0.

Aggiornato con un nuovo connettore Amazon Redshift e driver JDBC.

Accesso Amazon S3 ottimizzato con EMRFS aggiornato e committer di output ottimizzati per Amazon S3 abilitati per impostazione predefinita.

Accesso ottimizzato al catalogo dati con indici delle partizioni, predicati pushdown, elenco delle partizioni e un client metastore Hive aggiornato.

Integrazione con Lake Formation per tabelle di catalogo governate con filtraggio a livello di cella e transazioni data lake.

Ridotta la latenza di avvio per migliorare i tempi complessivi di completamento dei processi e dell'interattività.

I processi Spark vengono fatturati in incrementi di 1 secondo con una durata minima di fatturazione 10 volte inferiore, da un minimo di 10 minuti a un minimo di 1 minuto.

Supporto nativo per framework open data lake con Apache Hudi, Delta Lake e Apache Iceberg.

Supporto nativo per il Cloud Shuffle Storage Plugin basato su Amazon S3 (un plug-in Apache Spark) per utilizzare Amazon S3 per lo shuffling e la capacità di archiviazione elastica.

Filtraggio di runtime a livello di riga (SPARK-32268).

Miglioramenti ANSI (SPARK-38860).

Miglioramenti ai messaggi di errore (SPARK-38781).

Supporto dei tipi complessi per il lettore vettorializzato Parquet (SPARK-34863).

Supporto di metadati di file nascosti per Spark SQL (SPARK-37273).

Fornito un profiler per le UDF di Python/Pandas (SPARK-37443).

Introduce Trigger.availableNow per eseguire query di streaming come Trigger.Once in più batch (SPARK-36533).

Funzionalità di pushdown Datasource V2 più complete (SPARK-38788).

Migrazione da log4j 1 a log4j 2 (SPARK-37814).

Modifiche importanti

In AWS Glue Studio, scegli Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 in Glue version.

Nell'API, scegli 4.0 nel parametro GlueVersion nell'operazione API UpdateJob.

Nella console, scegli Spark 3.3, Python 3 (Glue Version 4.0) or Spark 3.3, Scala 2 (Glue Version 3.0) in Glue version.

In AWS Glue Studio, scegli Glue 4.0 - Supports Spark 3.3, Scala 2, Python 3 in Glue version.

Nell'API, scegli 4.0 nel parametro GlueVersion nell'operazione API CreateJob.

Le librerie Python esterne del processo dipendono da Python 2.7/3.6?

Tutti i parametri dei processi e le funzionalità principali esistenti in AWS Glue 3.0 saranno presenti in AWS Glue 4.0.

AWS Glue 3.0 utilizza Spark 3.1.1 ottimizzato per Amazon EMR e AWS Glue 4.0 utilizza Spark 3.3.0 ottimizzato per Amazon EMR.

Diverse modifiche di Spark da sole potrebbero richiedere la revisione degli script per garantire che non si faccia riferimento alle funzionalità rimosse.

AWS Glue 4.0 include anche un aggiornamento a EMRFS e Hadoop. Per la versione specifica, consulta Appendice A: Aggiornamenti importanti delle dipendenze.

L'SDK AWS fornito nei processi ETL è stato aggiornato da 1.11 a 1.12.

Tutti i processi Python utilizzeranno la versione 3.10 di Python. In precedenza, in AWS Glue 3.0 era usato Python 3.7.

Di conseguenza, alcuni pymodule pronti all'uso da AWS Glue sono stati aggiornati.

Log4j è stato aggiornato a Log4j2.

Per la migrazione di connettori specifici, consulta Migrazione di connettori e driver JDBC per AWS Glue 4.0.

L'SDK di crittografia AWS è stato aggiornato da 1.x a 2.x. Sono interessati da questa modifica i processi AWS Glue che utilizzano configurazioni di sicurezza di AWS Glue e i processi dipendenti dalla dipendenza dell'SDK di crittografia AWS forniti in fase di runtime. Consulta le istruzioni relative alla migrazione dei processi AWS Glue.

Puoi aggiornare in sicurezza un processo AWS Glue 2.0/3.0 a un processo AWS Glue 4.0 perché AWS Glue 2.0/3.0 contiene già la versione bridge dell'SDK di crittografia AWS.

Aggiornamento da Spark SQL 3.1 a 3.2

Aggiornamento da Spark SQL 3.2 a 3.3

Tutti i parametri di processo e le funzionalità principali esistenti in AWS Glue 2.0 saranno presenti in AWS Glue 4.0.

Il committer ottimizzato per S3 EMRFS per la scrittura di dati Parquet in Amazon S3 è abilitato per impostazione predefinita a cominciare da AWS Glue 3.0. Tuttavia, puoi disabilitarlo impostando --enable-s3-parquet-optimized-committer a false.

AWS Glue 2.0 utilizza Spark 2.4 open source e AWS Glue 4.0 utilizza Spark 3.3.0 ottimizzato per Amazon EMR.

L'SDK AWS fornito nei processi ETL è stato aggiornato da 1.11 a 1.12.

AWS Glue 4.0 include anche un aggiornamento a EMRFS, driver JDBC aggiornati e ulteriori ottimizzazioni su Spark stesso fornite da AWS Glue.

Scala è stato aggiornato da 2.11 a 2.12 e Scala 2.12 non è compatibile con Scala 2.11.

Python 3.10 è la versione predefinita utilizzata per gli script Python mentre AWS Glue 2.0 utilizzava solo Python 3.7 e 2.7.

Diversi aggiornamenti delle dipendenze, evidenziati in Appendice A: Aggiornamenti importanti delle dipendenze.

Eventuali file JAR supplementari forniti in processi AWS Glue 2.0 esistenti potrebbero causare conflitti di dipendenze a causa degli aggiornamenti di diverse dipendenze in 4.0 da 2.0. È possibile evitare conflitti di dipendenze in AWS Glue 4.0 con il parametro --user-jars-first del processo AWS Glue.

AWS Glue 4.0 utilizza Spark 3.3. A partire da Spark 3.1, è stato apportato un cambiamento nel comportamento di caricamento/salvataggio dei timestamp da/verso i file parquet. Per ulteriori dettagli, consulta Aggiornamento da Spark SQL 3.0 a 3.1.

Noi suggeriamo di impostare i seguenti parametri durante la lettura/scrittura di dati del parquet che contengono colonne timestamp. L'impostazione di tali parametri può risolvere il problema di incompatibilità del calendario che si verifica durante l'aggiornamento da Spark 2 a Spark 3, sia per AWS Glue Dynamic Frame che per Spark Data Frame. Utilizzare l'opzione CORRECTED per leggere il valore datetime così com'è e l'opzione LEGACY per cambiare la base dei valori datetime in relazione alla differenza di calendario durante la lettura.

- Key: --conf
- Value: spark.sql.legacy.parquet.int96RebaseModeInRead=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.int96RebaseModeInWrite=[CORRECTED|LEGACY] --conf spark.sql.legacy.parquet.datetimeRebaseModeInRead=[CORRECTED|LEGACY]

Per la migrazione di connettori specifici, consulta Migrazione di connettori e driver JDBC per AWS Glue 4.0.

L'SDK di crittografia AWS è stato aggiornato da 1.x a 2.x. Sono interessati da questa modifica i processi AWS Glue che utilizzano configurazioni di sicurezza di AWS Glue e i processi dipendenti dalla dipendenza dell'SDK di crittografia AWS forniti in fase di runtime. Consulta le seguenti istruzioni relative alla migrazione del processo AWS Glue:

Aggiornamento da Spark SQL 2.4 a 3.0

Aggiornamento da Spark SQL 3.1 a 3.2

Aggiornamento da Spark SQL 3.2 a 3.3

Cambiamenti nel comportamento di Datetime previsti da Spark 3.0.

AWS Glue 1.0 utilizza Spark 2.4 open source e AWS Glue 4.0 utilizza Spark 3.3.0 ottimizzato per Amazon EMR.

Tutti i processi in AWS Glue 4.0 verranno eseguiti con tempi di avvio significativamente migliorati. I processi Spark verranno fatturati in incrementi di 1 secondo con una durata minima di fatturazione 10 volte inferiore poiché la latenza di avvio passerà da un massimo di 10 minuti a un massimo di 1 minuto.

Il comportamento di registrazione è cambiato in modo significativo in AWS Glue versione 4.0, in quanto Spark 3.3.0 richiede Log4j2.

Diversi aggiornamenti delle dipendenze, descritti nell'appendice.

Scala è stato inoltre aggiornato da 2.11 a 2.12 e Scala 2.12 non è compatibile con Scala 2.11.

Python 3.10 è anche la versione di predefinita utilizzata per gli script Python, mentre AWS Glue 0.9 utilizzava solo Python 2.

Python 2.7 non è supportato con Spark 3.3.0. Qualsiasi processo che richieda Python 2 nella sua configurazione avrà esito negativo, con la restituzione di IllegalArgumentException.

Un nuovo meccanismo per l'installazione di moduli Python aggiuntivi tramite pip è disponibile a cominciare da AWS Glue 2.0. Per ulteriori informazioni, consulta Installazione di moduli Python aggiuntivi con pip in AWS Glue 2.0+.

AWS Glue 4.0 non viene eseguito su Apache YARN, pertanto le impostazioni di YARN non si applicano.

AWS Glue 4.0 non dispone di un file system distribuito Hadoop (HDFS).

Eventuali file JAR supplementari forniti in processi AWS Glue 1.0 esistenti potrebbero causare conflitti di dipendenze a causa degli aggiornamenti di diverse dipendenze in 4.0 da 1.0. Per evitare questo problema, abilitiamo automaticamente AWS Glue 4.0 con il parametro di processo AWS Glue --user-jars-first.

AWS Glue 4.0 supporta il dimensionamento automatico. Pertanto, il parametro ExecutorAllocationManager sarà disponibile quando è abilitato il dimensionamento automatico.

Nei processi di AWS Glue versione 4.0, è possibile specificare il numero di worker e il tipo di worker, ma non una maxCapacity.

AWS Glue 4.0 non supporta ancora le trasformazioni basate su machine learning.

Per la migrazione di connettori specifici, consulta Migrazione di connettori e driver JDBC per AWS Glue 4.0.

L'SDK di crittografia AWS è stato aggiornato da 1.x a 2.x. Sono interessati da questa modifica i processi AWS Glue che utilizzano configurazioni di sicurezza di AWS Glue e i processi dipendenti dalla dipendenza dell'SDK di crittografia AWS forniti in fase di runtime. Consulta le seguenti istruzioni relative alla migrazione del processo AWS Glue.

Aggiornamento da Spark SQL 2.4 a 3.0

Aggiornamento da Spark SQL 3.0 a 3.1

Aggiornamento da Spark SQL 3.1 a 3.2

Aggiornamento da Spark SQL 3.2 a 3.3

Cambiamenti nel comportamento di Datetime previsti da Spark 3.0.

AWS Glue 0.9 utilizza Spark 2.2.1 open source e AWS Glue 4.0 utilizza Spark 3.3.0 ottimizzato per Amazon EMR.

Tutti i processi in AWS Glue 4.0 verranno eseguiti con tempi di avvio significativamente migliorati. I processi Spark verranno fatturati in incrementi di 1 secondo con una durata minima di fatturazione 10 volte inferiore poiché la latenza di avvio passerà da un massimo di 10 minuti a un massimo di 1 minuto.

Il comportamento di registrazione è cambiato in modo significativo rispetto a AWS Glue 4.0; Spark 3.3.0 richiede Log4j2 come indicato qui (https://spark.apache.org/docs/latest/core-migration-guide.html#upgrading-from-core-32-to-33).

Diversi aggiornamenti delle dipendenze, descritti nell'appendice.

Scala è stato inoltre aggiornato da 2.11 a 2.12 e Scala 2.12 non è compatibile con Scala 2.11.

Python 3.10 è anche la versione di predefinita utilizzata per gli script Python, mentre AWS Glue 0.9 utilizzava solo Python 2.

AWS Glue 4.0 non viene eseguito su Apache YARN, pertanto le impostazioni di YARN non si applicano.

AWS Glue 4.0 non dispone di un file system distribuito Hadoop (HDFS).

Eventuali file JAR supplementari forniti in processi AWS Glue 0.9 esistenti potrebbero causare conflitti di dipendenze a causa degli aggiornamenti di diverse dipendenze in 3.0 da 0.9. È possibile evitare conflitti di dipendenze in AWS Glue 3.0 con il parametro --user-jars-first del processo AWS Glue.

AWS Glue 4.0 supporta il dimensionamento automatico. Pertanto, il parametro ExecutorAllocationManager sarà disponibile quando è abilitato il dimensionamento automatico.

Nei processi di AWS Glue versione 4.0, è possibile specificare il numero di worker e il tipo di worker, ma non una maxCapacity.

AWS Glue 4.0 non supporta ancora le trasformazioni basate su machine learning.

Per la migrazione di connettori specifici, consulta Migrazione di connettori e driver JDBC per AWS Glue 4.0.

L'SDK di crittografia AWS è stato aggiornato da 1.x a 2.x. Sono interessati da questa modifica i processi AWS Glue che utilizzano configurazioni di sicurezza di AWS Glue e i processi dipendenti dalla dipendenza dell'SDK di crittografia AWS forniti in fase di runtime. Consulta le seguenti istruzioni relative alla migrazione del processo AWS Glue.

Aggiornamento da Spark SQL 2.2 a 2.3

Aggiornamento da Spark SQL 2.3 a 2.4

Aggiornamento da Spark SQL 2.4 a 3.0

Aggiornamento da Spark SQL 3.0 a 3.1

Aggiornamento da Spark SQL 3.1 a 3.2

Aggiornamento da Spark SQL 3.2 a 3.3

Cambiamenti nel comportamento di Datetime previsti da Spark 3.0.

Appendice B: aggiornamenti dei driver JDBC

Appendice C: Aggiornamenti dei connettori

Miglioramenti al supporto Spark SQL:

Qualsiasi tabella Hudi creata prima della versione 0.10.0 senza una primaryKey deve essere creata nuovamente con un campo primaryKey a partire dalla versione 0.10.0.

Sono state risolte diverse vulnerabilità (CVE).

Java 8 è supportato in modo nativo.

Se il processo utilizza array di array, ad eccezione degli array di byte, questo scenario può essere trattato come array multidimensionali.

Il connettore MongoDB corrente supporta Spark versione 3.1 o versione successiva e MongoDB versione 4.0 o successiva.

A causa dell'aggiornamento del connettore, alcuni nomi di proprietà sono cambiati. Ad esempio, il nome della proprietà URI è stato modificato in connection.uri. Per ulteriori informazioni sulle opzioni correnti, consulta il blog di MongoDB Spark Connector.

L'utilizzo di MongoDB 4.0 ospitato da Amazon DocumentDB presenta alcune differenze funzionali. Per ulteriori informazioni, consulta i seguenti argomenti:

L'opzione "partitioner" è limitata a ShardedPartitioner, PaginateIntoPartitionsPartitioner e SinglePartitionPartitioner. Non può utilizzare SamplePartitioner e PaginateBySizePartitioner predefiniti per Amazon DocumentDB perché l'operatore stage non supporta l'API MongoDB. Per ulteriori informazioni, consulta API, operazioni e tipi di dati MongoDB supportati.

Delta Lake ora supporta i viaggi nel tempo in SQL per interrogare facilmente i dati più vecchi. Con questo aggiornamento, il viaggio nel tempo è ora disponibile sia in Spark SQL che tramite l'API DataFrame. È stato aggiunto il supporto per la versione corrente di TIMESTAMP in SQL.

Spark 3.3 introduce Trigger.AvailableNow per l'esecuzione di query di streaming come equivalente a Trigger.Once per le query in batch. Questo supporto è disponibile anche quando si utilizzano le tabelle Delta come fonte di streaming.

Supporto per SHOW COLUMNS per restituire l'elenco delle colonne in una tabella.

Supporto per DESCRIVE DETAIL nelle API DeltaTable di Scala e Python. Recupera informazioni dettagliate su una tabella Delta utilizzando l'API DeltaTable o Spark SQL.

Supporto per la restituzione di parametri operativi dai comandi SQL Delete, Merge e Update. In precedenza questi comandi SQL restituivano un DataFrame vuoto, ora restituiscono un DataFrame con parametri utili sull'operazione eseguita.

Ottimizza i miglioramenti in termini di prestazioni:

Altre modifiche importanti:

Sono stati aggiunti diversi miglioramenti delle prestazioni per la pianificazione delle scansioni e le query Spark.

È stato aggiunto un client di catalogo REST comune che utilizza i commit basati sulle modifiche per risolvere i conflitti di commit lato del servizio.

La sintassi AS OF per le query SQL relative ai viaggi temporali è supportata.

È stato aggiunto il supporto merge-on-read (unione su lettura) per le query MERGE e UPDATE.

È stato aggiunto il supporto per riscrivere le partizioni utilizzando l'ordine Z.

Sono state aggiunte una specifica e un'implementazione per Puffin, un formato per statistiche di grandi dimensioni e blob di indici, come schizzi Theta o filtri bloom.

Sono state aggiunte nuove interfacce per il consumo incrementale dei dati (scansioni di aggiunta e log delle modifiche).

È stato aggiunto il supporto per operazioni di massa e letture a intervalli alle interfacce FileIO.

Sono state aggiunte altre tabelle di metadati per mostrare i file di eliminazione nella struttura dei metadati.

Il comportamento della tabella di eliminazione è cambiato. In Iceberg 0.13.1, l'esecuzione di DROP TABLE rimuove la tabella dal catalogo e ne elimina anche il contenuto. In Iceberg 1.0.0, DROP TABLE rimuove solo la tabella dal catalogo. Per eliminare il contenuto della tabella, utilizza DROP TABLE PURGE.

Le letture vettorializzate in Parquet sono abilitate per impostazione predefinita in Iceberg 1.0.0. Se desideri disabilitare le letture vettorializzate, imposta read.parquet.vectorization.enabled su false.