Migration AWS Glue des tâches Spark vers la AWS Glue version 5.0

Mise à jour d'Apache Spark de la version 3.3.0 dans la AWS Glue version 4.0 à la version 3.5.2 dans AWS Glue la version 5.0. Consultez Améliorations majeures de Spark 3.3.0 à Spark 3.5.2.

Contrôle d'accès à grain fin (FGAC) natif de Spark à l'aide de Lake Formation. Pour plus d'informations, consultez la section Utilisation AWS Glue avec AWS Lake Formation pour un contrôle d'accès précis.

Notez les considérations ou limites suivantes pour le FGAC natif de Spark :

Pour une liste complète des limites et des considérations relatives à l'utilisation du FGAC natif de Spark, voir. Considérations et restrictions

Support des subventions d'accès Amazon S3 en tant que solution de contrôle d'accès évolutive à vos données Amazon S3 depuis AWS Glue. Pour de plus amples informations, veuillez consulter Utilisation d'Amazon S3 Access Grants avec AWS Glue.

Open Table Formats (OTF) mis à jour vers Hudi 0.15.0, Iceberg 1.6.1 et Delta Lake 3.2.1

Support d'Amazon SageMaker Unified Studio.

Amazon SageMaker Lakehouse et intégration de l'abstraction de données. Pour de plus amples informations, veuillez consulter Interrogation de catalogues de données de métastore à partir de l'ETL AWS Glue.

Support pour installer des bibliothèques Python supplémentaires à l'aide derequirements.txt. Pour de plus amples informations, veuillez consulter Installation de bibliothèques Python supplémentaires dans AWS Glue 5.0 à l'aide de requirements.txt.

AWS Glue La version 5.0 prend en charge le lignage des données sur Amazon DataZone. Vous pouvez configurer AWS Glue pour collecter automatiquement des informations de lignage lors de l'exécution des tâches Spark et envoyer les événements de lignage à visualiser sur Amazon. DataZone Pour plus d'informations, consultez la section Lignage des données sur Amazon DataZone.

Pour le configurer sur la AWS Glue console, activez Generate lineage events et saisissez votre identifiant de DataZone domaine Amazon dans l'onglet Job details.

Vous pouvez également fournir le paramètre de tâche suivant (indiquez votre ID de DataZone domaine) :

Mises à jour du connecteur et du pilote JDBC. Pour plus d’informations, consultez Annexe B : Mises à niveau du pilote JDBC et Annexe C : Mises à niveau des connecteurs.

Mise à jour de Java de 8 à 17.

Stockage accru pour les G.2X employés AWS Glue G.1X et les employés, l'espace disque passant respectivement à 94 Go et 138 Go. Pour plus d’informations, consultez Tâches.

Support pour les tâches AWS SDK for Java, versions 2 AWS Glue à 5.0, peuvent utiliser les versions 1.12.569 ou 2.28.8 pour Java si la tâche prend en charge la version v2. Le AWS SDK pour Java 2.x est une réécriture majeure de la base de code de la version 1.x. Il repose sur Java 8+ et ajoute plusieurs fonctionnalités fréquemment demandées. Cela inclut la prise en charge d’E/S non bloquantes et la possibilité de brancher une implémentation HTTP différente au moment de l’exécution. Pour plus d'informations, y compris un guide de migration du SDK pour Java v1 vers la v2, consultez AWS le guide du SDK pour Java, version 2.

GlueContextle contrôle d'accès basé sur une table avec des AWS Lake Formation autorisations prises en charge dans Glue 4.0 ou antérieur n'est pas pris en charge dans Glue 5.0. Utilisez le nouveau contrôle d'accès fin natif de Spark (FGAC) dans Glue 5.0. Notez les informations suivantes :

Pour plus d'informations, consultez la section Utilisation AWS Glue avec AWS Lake Formation pour un contrôle d'accès précis.

Le lecteur CSV SIMD vectorisé n'est pas pris en charge.

La journalisation continue dans le groupe de journaux de sortie n'est pas prise en charge. Utilisez plutôt un groupe de error journaux.

Le AWS Glue Job Run Insights job-insights-rule-driver est devenu obsolète. Le flux du job-insights-rca-driver journal se trouve désormais dans le groupe des journaux d'erreurs.

Les connecteurs personnalisés/de marché basés sur Athena ne sont pas pris en charge.

Les connecteurs Adobe Marketo Engage, Facebook Ads, Google Ads, Google Analytics 4, Google Sheets, Hubspot, Instagram Ads, Intercom, Jira Cloud, Oracle, Salesforce, Salesforce Marketing Cloud NetSuite, Salesforce Marketing Cloud Account Engagement, SAP, Slack, Snapchat Ads OData ServiceNow, Stripe, Zendesk et Zoho CRM ne sont pas pris en charge.

Les propriétés log4j personnalisées ne sont pas prises en charge dans Glue 5.0.

Client Python pour Spark Connect (SPARK-39375).

Implémenter le support des valeurs DEFAULT pour les colonnes des tables (SPARK-38334).

Support « Références d'alias de colonne latérale » (SPARK-27561).

Renforcez l'utilisation de SQLSTATE pour les classes d'erreur (SPARK-41994).

Activez les jointures du filtre Bloom par défaut (SPARK-38841).

Amélioration de l'évolutivité de l'interface utilisateur Spark et de la stabilité des pilotes pour les applications de grande envergure (SPARK-41053).

Suivi de la progression asynchrone dans le streaming structuré (SPARK-39591).

Traitement dynamique arbitraire en Python dans le streaming structuré (SPARK-40434).

Améliorations de la couverture de l'API Pandas (SPARK-42882) et de la prise en charge des NumPy entrées dans (SPARK-39405). PySpark

Fournissez un profileur de mémoire pour les fonctions PySpark définies par l'utilisateur (SPARK-40281).

PyTorch Distributeur d'outils (SPARK-41589).

Publiez des artefacts SBOM (SPARK-41893).

Support IPv6 uniquement pour l'environnement (SPARK-39457).

Planificateur K8s personnalisé (Apache YuniKorn et Volcano) GA (SPARK-42802).

Support client Scala et Go dans Spark Connect (SPARK-42554) et (SPARK-43351).

PyTorchSupport ML distribué basé sur Spark Connect (SPARK-42471).

Support de streaming structuré pour Spark Connect en Python et Scala (SPARK-42938).

Support de l'API Pandas pour le client Python Spark Connect (SPARK-42497).

Présentez Arrow Python UDFs (SPARK-40307).

Support des fonctions de table définies par l'utilisateur en Python (SPARK-43798).

Migrez PySpark les erreurs vers les classes d'erreurs (SPARK-42986).

PySpark cadre de test (SPARK-44042).

Ajout du support pour Datasketches HllSketch (SPARK-16484).

Amélioration de la fonction SQL intégrée (SPARK-41231).

Clause IDENTIFIER (SPARK-43205).

Ajoutez des fonctions SQL dans Scala, Python et R API (SPARK-43907).

Ajout de la prise en charge des arguments nommés pour les fonctions SQL (SPARK-43922).

Évitez de réexécuter une tâche inutile en cas de perte d'un exécuteur hors service en cas de migration des données shuffle (SPARK-41469).

ML distribué <> Spark Connect (SPARK-42471).

DeepSpeed distributeur (SPARK-44264).

Implémentez le point de contrôle du journal des modifications pour le magasin d'état RockSDB (SPARK-43421).

Introduisez la propagation des filigranes parmi les opérateurs (SPARK-42376).

Présentez dropDuplicatesWithin Watermark (SPARK-42931).

Améliorations apportées à la gestion de la mémoire du fournisseur RockSDB State Store (SPARK-43311).

Dans AWS Glue Studio, choisissez « Glue 5.0 - Supports Spark 3.5.2, Scala 2, Python 3 in Glue version ».

Dans l'API, choisissez 5.0 dans le paramètre GlueVersion de l'opération d'API UpdateJob.

Dans la console, choisissez Spark 3.5.2, Python 3 (Glue Version 5.0) or Spark 3.5.2, Scala 2 (Glue Version 5.0) dans Glue version.

Dans AWS Glue Studio, choisissez « Glue 5.0 - Supports Spark 3.5.2, Scala 2, Python 3 in Glue version ».

Dans l'API, choisissez 5.0 dans le paramètre GlueVersion de l'opération d'API CreateJob.

Mises à jour de Java 17

[Scala] Mettre à niveau les appels du AWS SDK de la v1 à la v2

Migration de Python 3.10 vers 3.11

[Python] Mettre à jour les références de démarrage de la version 1.26 à la version 1.34

Catalogue : conteneur logique qui contient des objets provenant d'un magasin de données, tels que des schémas ou des tables.

Base de données : organise les objets de données tels que les tables et les vues dans un catalogue.

Tables et vues : objets de données d'une base de données qui fournissent une couche d'abstraction avec un schéma compréhensible. Ils facilitent l'accès aux données sous-jacentes, qui peuvent être dans différents formats et à différents endroits.

--enable-lakeformation-fine-grained-access: Active la fonctionnalité de contrôle d'accès détaillé (FGAC) dans les tables de AWS Lake Formation.

Guide de migration : Spark Core

Guide de migration : SQL, ensembles de données et DataFrame

Guide de migration : Streaming structuré

Upgrading PySpark

Tous les paramètres de travail existants et les fonctionnalités principales qui existent dans la AWS Glue version 2.0 existeront dans la AWS Glue version 5.0, à l'exception des transformations de machine learning.

Plusieurs modifications Spark peuvent à elles seules nécessiter une révision de vos scripts pour s'assurer que les fonctions supprimées ne sont pas référencées. Par exemple, Spark 3.1.1 et versions ultérieures n'activent pas Scala-Untyped, UDFs mais Spark 2.4 le permet.

Python 2.7 n'est pas pris en charge.

Tout fichier jar supplémentaire fourni dans les tâches AWS Glue 2.0 existantes peut entraîner des dépendances conflictuelles, car plusieurs dépendances ont été mises à niveau. Vous pouvez éviter les conflits de chemin de classe avec le paramètre de --user-jars-first tâche.

Modifications du comportement des fichiers de loading/saving of timestamps from/to parquet. Pour plus de détails, veuillez consulter Mise à niveau de Spark SQL 3.0 vers 3.1.

Parallélisme différent des tâches Spark pour la configuration pilote/exécuteur. Vous pouvez ajuster le parallélisme des tâches en transmettant l'argument --executor-cores job.

Annexe B : Mises à niveau du pilote JDBC

Annexe C : Mises à niveau des connecteurs

Annexe D : Mises à niveau du format de tableau ouvert

Ajoute la prise en charge des noms de table en trois parties pour permettre au connecteur d'interroger les tables de partage de données Redshift.

Corrige le mappage de Spark ShortType afin d'utiliser Redshift SMALLINT plutôt que de mieux correspondre INTEGER à la taille de données attendue.

Ajout de la prise en charge des noms de cluster personnalisés (CNAME) pour Amazon Redshift Serverless.

Support : indice de niveau record.

Support de génération auto de clés d'enregistrement. Désormais, il n'est plus nécessaire de spécifier le champ clé d'enregistrement.

Support d'un contrôle d'accès précis avec. AWS Lake Formation

Support du branchement et du balisage, qui sont des références nommées à des instantanés dotés de leur propre cycle de vie indépendant.

Ajout d'une procédure d'affichage du journal des modifications qui génère une vue contenant les modifications apportées à une table au cours d'une période spécifiée ou entre des instantanés spécifiques.

Support du format Delta Universal (UniForm) qui permet un accès fluide via Apache Iceberg et Apache Hudi.

Support des vecteurs de suppression qui implémentent un Merge-on-Read paradigme.

Ajout du support des clés de partition hiérarchiques.

Ajout d'une option permettant d'utiliser un schéma personnalisé avec StringType (json brut) pour une propriété imbriquée.

Ajout d'une option spark.cosmos.auth.aad.clientCertPemBase64 de configuration pour permettre d'utiliser l'authentification SPN (ServicePrincipal nom) avec un certificat au lieu du secret client.

Le chiffrement TLS est activé par défaut.

Lorsque encrypt = false mais que le serveur exige le chiffrement, le certificat est validé en fonction du paramètre de trustServerCertificate connexion.

aadSecurePrincipalIdet aadSecurePrincipalSecret obsolète.

getAADSecretPrincipalIdAPI supprimée.

Ajout de la prise en charge du type de données SQL_Variant lors de la récupération. DateTimeOffset

Résolution CNAME ajoutée lorsque le domaine est spécifié.

Support du mode micro-batch avec Spark Structured Streaming.

Support pour les types de données BSON.

Ajout de la prise en charge de la lecture de plusieurs collections lors de l'utilisation des modes microbatch ou de diffusion continue.

Ajout d'un nouveau trim_space paramètre que vous pouvez utiliser pour réduire automatiquement les valeurs des StringType colonnes lors de l'enregistrement dans une table Snowflake. Par défaut: false.

Le abort_detached_query paramètre a été désactivé par défaut au niveau de la session.

Suppression de l'exigence du SFUSER paramètre lors de l'utilisation d'OAUTH.

Suppression de la fonctionnalité Advanced Query Pushdown. Des alternatives à cette fonctionnalité sont disponibles. Par exemple, au lieu de charger des données à partir de tables Snowflake, les utilisateurs peuvent charger directement des données à partir de requêtes SQL Snowflake.