Migrating AWS Glue pour Spark Jobs AWS Glue la version 5.1

Mise à jour d'Apache Spark de la version 3.5.4 dans la AWS Glue version 5.0 à la version 3.5.6 dans AWS Glue la version 5.1.

Formats de table ouverts (OTF) mis à jour vers Hudi 1.0.2, Iceberg 1.10.0 et Delta Lake 3.3.2

Vues matérialisées d'iceberg - Créez et gérez des vues matérialisées d'iceberg (MV). Pour plus d'informations, consultez l'article de blog

Format Iceberg version 3.0 - Étend les types de données et les structures de métadonnées existantes pour ajouter de nouvelles fonctionnalités. Pour plus d'informations, consultez la spécification de la table Iceberg.

Accès complet aux tables Hudi - Contrôle de l'accès complet aux tables (FTA) pour Apache Hudi dans Apache Spark en fonction de vos politiques définies dans. AWS Lake Formation Cette fonctionnalité permet les opérations de lecture et d'écriture à partir de vos tâches AWS Glue ETL sur les tables AWS Lake Formation enregistrées lorsque le rôle de la tâche dispose d'un accès complet aux tables.

Le contrôle d'accès fin (FGAC) natif de Spark prend en charge DDL/DML des opérations AWS Lake Formation - (telles que CREATE, ALTER, DELETE, DROP) avec un contrôle d'accès affiné pour les tables Apache Hive, Apache Iceberg et Delta Lake enregistrées dans. AWS Lake Formation

Contexte d'audit pour les tâches Spark - Le contexte d'audit pour les tâches AWS Glue ETL sera disponible pour les appels d' AWS Lake Formation API AWS Glue et les appels d'API seront inclus dans les AWS CloudTrail journaux.

Prise en charge limitée de la clause View SQL pour la création de vues matérialisées, la réécriture de requêtes et l'actualisation incrémentielle. Vous trouverez plus de détails sur la page de documentation des fonctionnalités d'Iceberg Materialized Views

Les écritures Hudi FTA nécessitent d'être utilisées HoodieCredentialedHadoopStorage pour la vente d'informations d'identification lors de l'exécution de la tâche. Définissez la configuration suivante lors de l'exécution des tâches Hudi :

hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage

La prise en charge de l'écriture Hudi FTA ne fonctionne qu'avec les configurations Hudi par défaut. Les paramètres Hudi personnalisés ou autres que ceux par défaut peuvent ne pas être entièrement pris en charge et peuvent entraîner un comportement inattendu. Le clustering pour les tables Hudi Merge-On-Read (MOR) n'est pas non plus pris en charge en mode d'écriture FTA.

Le système de fichiers S3A a remplacé EMRFS comme connecteur S3 par défaut. Pour plus d'informations sur la procédure de migration, consultezMigration à partir de AWS Glue De 5,0 à AWS Glue 5.1.

Dans AWS Glue Studio, choisissez Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 dansGlue version.

Dans l’API, choisissez 5.1 dans le paramètre GlueVersion de l’opération d’API UpdateJob.

Dans la console, choisissez Spark 3.5.6, Python 3 (Glue Version 5.1) or Spark 3.5.6, Scala 2 (Glue Version 5.1) dans Glue version.

Dans AWS Glue Studio, choisissez Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 dansGlue version.

Dans l’API, choisissez 5.1 dans le paramètre GlueVersion de l’opération d’API CreateJob.

[Python] Mettre à jour les références boto de 1.34 à 1.40.

Dans la AWS Glue version 5.1, le système de fichiers S3A a remplacé EMRFS en tant que connecteur S3 par défaut. Si spark.hadoop.fs.s3a.endpoint les deux ne spark.hadoop.fs.s3a.endpoint.region sont pas définis, la région par défaut utilisée par S3A estus-east-2. Cela peut entraîner des problèmes, tels que des erreurs de délai de chargement dans S3, en particulier pour les tâches VPC. Pour atténuer les problèmes causés par cette modification, définissez la configuration de spark.hadoop.fs.s3a.endpoint.region Spark lors de l'utilisation du système de fichiers S3A dans la AWS Glue version 5.1.

Pour continuer à utiliser EMRFS au lieu de S3A, définissez les configurations Spark suivantes :

    --conf spark.hadoop.fs.s3.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.s3n.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.AbstractFileSystem.s3.impl=org.apache.hadoop.fs.s3.EMRFSDelegate
                

Guide de migration : Spark Core

Guide de migration : SQL, ensembles de données et DataFrame

Guide de migration : streaming structuré

Upgrading PySpark

Pour les étapes de migration liées à la AWS Glue version 4.0 vers la AWS Glue version 5.0, consultez la section Migration de la AWS Glue version 4.0 vers la AWS Glue version 5.0.

Pour les étapes de migration liées à la AWS Glue version 3.0 vers la AWS Glue version 5.0, consultez la section Migration de la AWS Glue version 3.0 vers la AWS Glue version 5.0.

Pour connaître les étapes de migration relatives à la version AWS Glue 2.0 vers la version AWS Glue 5.0 et consulter la liste des différences de migration entre les AWS Glue versions 2.0 et 4.0, consultez la section Migration de la version AWS Glue 2.0 vers la version AWS Glue 5.0.

Annexe B : Mises à niveau du pilote JDBC

Annexe C : Mises à niveau des connecteurs

Annexe D : Mises à niveau du format de table ouverte

Soutenez l'accès en lecture et en écriture à la FTA sur les tables enregistrées de Lake Formation.

Supporte la version 3 du format Iceberg. Les fonctionnalités suivantes sont prises en charge :

Supporte les écritures Spark-native FGAC sur les tables AWS Lake Formation enregistrées.

Compatibilité avec Athena SQL - Impossible de lire les tables Iceberg V3 créées par EMR Spark en raison d'une erreur : GENERIC_INTERNAL_ERROR: Cannot read unsupported version 3

Soutenez l'accès en lecture et en écriture à la FTA sur les tables enregistrées de Lake Formation.