Migration AWS Glue des tâches Spark vers la AWS Glue version 5.0

Mise à jour d'Apache Spark de la version 3.3.0 dans la AWS Glue version 4.0 à la version 3.5.2 dans AWS Glue la version 5.0. Consultez Améliorations majeures de Spark 3.3.0 à Spark 3.5.2.

Contrôle d'accès fin natif à Spark () à l'aide de FGAC Lake Formation. Pour plus d'informations, consultez la section Utilisation AWS Glue avec AWS Lake Formation pour un contrôle d'accès précis.

Notez les considérations ou limites suivantes pour Spark-native FGAC :

Support des subventions d'accès Amazon S3 en tant que solution de contrôle d'accès évolutive à vos données Amazon S3 depuis AWS Glue. Pour de plus amples informations, veuillez consulter Utilisation d'Amazon S3 Access Grants avec AWS Glue.

Open Table Formats (OTF) mis à jour vers Hudi 0.15.0, Iceberg 1.6.1 et Delta Lake 3.2.1

Support d'Amazon SageMaker Unified Studio.

Amazon SageMaker Lakehouse et intégration de l'abstraction de données. Pour de plus amples informations, veuillez consulter Interrogation de catalogues de données de métastore à partir de AWS Glue ETL.

Support pour installer des bibliothèques Python supplémentaires à l'aide derequirements.txt. Pour de plus amples informations, veuillez consulter Installation de bibliothèques Python supplémentaires dans AWS Glue 5.0 à l'aide de requirements.txt.

AWS Glue La version 5.0 prend en charge le lignage des données sur Amazon DataZone. Vous pouvez configurer AWS Glue pour collecter automatiquement des informations de lignage lors de l'exécution des tâches Spark et envoyer les événements de lignage à visualiser sur Amazon. DataZone Pour plus d'informations, consultez la section Lignage des données sur Amazon DataZone.

Pour le configurer sur la AWS Glue console, activez Generate lineage events et saisissez votre identifiant de DataZone domaine Amazon dans l'onglet Job details.

Vous pouvez également fournir le paramètre de tâche suivant (indiquez votre ID de DataZone domaine) :

Mises à jour JDBC du connecteur et du pilote. Pour plus d’informations, consultez Annexe B : mises à niveau des JDBC pilotes et Annexe C : Mises à niveau des connecteurs.

Mise à jour de Java de 8 à 17.

Stockage accru pour les G.2X employés AWS Glue G.1X et les employés, l'espace disque passant respectivement à 94 Go et 138 Go. Pour plus d’informations, consultez Tâches.

Support AWS SDK pour Java, versions 2 à AWS Glue 5.0, les tâches peuvent utiliser les versions 1.12.569 ou 2.28.8 pour Java si la tâche prend en charge la version v2. La version 2.x AWS SDK pour Java est une réécriture majeure de la base de code de la version 1.x. Il repose sur Java 8+ et ajoute plusieurs fonctionnalités fréquemment demandées. Il s'agit notamment de la prise en charge des E/S non bloquantes et de la possibilité de connecter une HTTP implémentation différente lors de l'exécution. Pour plus d'informations, y compris un guide SDK de migration de Java v1 à v2, consultez le guide AWS SDKpour Java, version 2.

GlueContextle contrôle d'accès basé sur une table avec des AWS Lake Formation autorisations prises en charge dans Glue 4.0 ou antérieur n'est pas pris en charge dans Glue 5.0. Utilisez le nouveau contrôle d'accès fin natif de Spark (FGAC) dans Glue 5.0.

Le SIMDCSVlecteur vectorisé n'est pas pris en charge.

La journalisation continue dans le groupe de journaux de sortie n'est pas prise en charge. Utilisez plutôt un groupe de error journaux.

Le AWS Glue Job Run Insights job-insights-rule-driver est devenu obsolète. Le flux du job-insights-rca-driver journal se trouve désormais dans le groupe des journaux d'erreurs.

Les connecteurs personnalisés/de marché basés sur Athena ne sont pas pris en charge.

Adobe Marketo Engage, Facebook Ads, Google Ads, Google Analytics 4, Google Sheets, Hubspot, Instagram Ads, Intercom, Jira Cloud, Oracle, Salesforce, Salesforce Marketing Cloud NetSuite, Salesforce Marketing Cloud Account Engagement, Slack, Snapchat Ads SAP OData ServiceNow, Stripe, Zendesk et Zoho ne sont pas pris en charge. CRM

Client Python pour Spark Connect (SPARK-39375).

Implémenter la prise en charge des DEFAULT valeurs pour les colonnes des tables (SPARK-38334).

Support « Références d'alias de colonne latérale » (SPARK-27561).

Renforcez SQLSTATE l'utilisation des classes d'erreur (SPARK-41994).

Activez les jointures du filtre Bloom par défaut (SPARK-38841).

Amélioration de l'évolutivité de l'interface utilisateur Spark et de la stabilité des pilotes pour les applications de grande envergure (SPARK-41053).

Suivi de la progression asynchrone dans le streaming structuré (SPARK-39591).

Traitement dynamique arbitraire en Python dans le streaming structuré (SPARK-40434).

Améliorations de API la couverture des pandas (SPARK-42882) et de la prise en charge des NumPy entrées dans PySpark (-39405). SPARK

Fournissez un profileur de mémoire pour les fonctions PySpark définies par l'utilisateur (SPARK-40281).

PyTorch Distributeur d'outils (SPARK-41589).

Publier SBOM des artefacts (SPARK-41893).

Support IPv6 uniquement pour l'environnement (SPARK-39457).

Planificateur K8s personnalisé (Apache YuniKorn et Volcano) GA (-42802). SPARK

Support client Scala et Go dans Spark Connect (SPARK-42554) et (-43351). SPARK

PyTorchSupport ML distribué basé sur le support pour Spark Connect (SPARK-42471).

Support de streaming structuré pour Spark Connect en Python et Scala (SPARK-42938).

APISupport de Pandas pour le client Python Spark Connect (SPARK-42497).

Présentez Arrow Python UDFs (SPARK-40307).

Support des fonctions de table définies par l'utilisateur en Python (SPARK-43798).

Migrez PySpark les erreurs vers les classes d'erreurs (SPARK-42986).

PySpark cadre de test (SPARK-44042).

Ajout du support pour Datasketches HllSketch (SPARK-16484).

Amélioration des SQL fonctions intégrée (SPARK-41231).

IDENTIFIERclause (SPARK-43205).

Ajoutez des SQL fonctions dans Scala, Python et R API (SPARK-43907).

Ajout de la prise en charge des arguments nommés pour SQL les fonctions (SPARK-43922).

Évitez de réexécuter une tâche inutile en cas de perte d'un exécuteur hors service en cas de migration des données shuffle (-41469). SPARK

ML distribué <> Spark Connect (SPARK-42471).

DeepSpeed distributeur (SPARK-44264).

Implémentez le point de contrôle du journal des modifications pour le magasin d'état RockSDB (-43421). SPARK

Introduisez la propagation des filigranes parmi les opérateurs (SPARK-42376).

Introduisez dropDuplicatesWithin Watermark (SPARK-42931).

Améliorations apportées à la gestion de la mémoire du fournisseur RockSDB State Store (SPARK-43311).

Dans AWS Glue Studio, choisissez « Glue 5.0 - Supports Spark 3.5.2, Scala 2, Python 3 in Glue version ».

Dans leAPI, choisissez 5.0 le GlueVersion paramètre de l'UpdateJobAPIopération.

Dans la console, choisissez Spark 3.5.2, Python 3 (Glue Version 5.0) or Spark 3.5.2, Scala 2 (Glue Version 5.0) dans Glue version.

Dans AWS Glue Studio, choisissez « Glue 5.0 - Supports Spark 3.5.2, Scala 2, Python 3 in Glue version ».

Dans leAPI, choisissez 5.0 le GlueVersion paramètre de l'CreateJobAPIopération.

Mises à jour de Java 17

[Scala] Mettre à niveau les AWS SDK appels de la v1 à la v2

Migration de Python 3.10 vers 3.11

[Python] Mettre à jour les références de démarrage de la version 1.26 à la version 1.34

Catalogue : conteneur logique qui contient des objets provenant d'un magasin de données, tels que des schémas ou des tables.

Base de données : organise les objets de données tels que les tables et les vues dans un catalogue.

Tables et vues : objets de données d'une base de données qui fournissent une couche d'abstraction avec un schéma compréhensible. Ils facilitent l'accès aux données sous-jacentes, qui peuvent être dans différents formats et à différents endroits.

--enable-lakeformation-fine-grained-access: Active la fonctionnalité de contrôle d'accès fine (FGAC) dans les tables de AWS Lake Formation.

Guide de migration : Spark Core

Guide de migration : ensembles SQL de données et DataFrame

Guide de migration : Streaming structuré

Upgrading PySpark

Tous les paramètres de travail existants et les fonctionnalités principales qui existent dans la AWS Glue version 2.0 existeront dans la AWS Glue version 5.0, à l'exception des transformations de machine learning.

Plusieurs modifications Spark peuvent à elles seules nécessiter une révision de vos scripts pour s'assurer que les fonctions supprimées ne sont pas référencées. Par exemple, Spark 3.1.1 et versions ultérieures n'activent pas Scala-Untyped, UDFs mais Spark 2.4 le permet.

Python 2.7 n'est pas pris en charge.

Tout fichier jar supplémentaire fourni dans les tâches AWS Glue 2.0 existantes peut entraîner des dépendances conflictuelles, car plusieurs dépendances ont été mises à niveau. Vous pouvez éviter les conflits de chemin de classe avec le paramètre de --user-jars-first tâche.

Modifications du comportement des fichiers de loading/saving of timestamps from/to parquet. Pour plus de détails, consultez la section Mise à niveau de Spark SQL 3.0 vers la version 3.1.

Parallélisme différent des tâches Spark pour la configuration pilote/exécuteur. Vous pouvez ajuster le parallélisme des tâches en transmettant l'argument --executor-cores job.

Annexe B : mises à niveau des JDBC pilotes

Annexe C : Mises à niveau des connecteurs

Annexe D : Mises à niveau du format de tableau ouvert

Ajoute la prise en charge des noms de table en trois parties pour permettre au connecteur d'interroger les tables de partage de données Redshift.

Corrige le mappage de Spark ShortType pour utiliser Redshift SMALLINT plutôt que INTEGER pour mieux correspondre à la taille de données attendue.

Ajout de la prise en charge des noms de clusters personnalisés (CNAME) pour Amazon Redshift Serverless.

Support : indice de niveau record.

Support de génération auto de clés d'enregistrement. Désormais, il n'est plus nécessaire de spécifier le champ clé d'enregistrement.

Support d'un contrôle d'accès précis avec. AWS Lake Formation

Support du branchement et du balisage, qui sont des références nommées à des instantanés dotés de leur propre cycle de vie indépendant.

Ajout d'une procédure d'affichage du journal des modifications qui génère une vue contenant les modifications apportées à une table au cours d'une période spécifiée ou entre des instantanés spécifiques.

Support du format Delta Universal (UniForm) qui permet un accès fluide via Apache Iceberg et Apache Hudi.

Support des vecteurs de suppression qui implémentent un Merge-on-Read paradigme.

Ajout du support des clés de partition hiérarchiques.

Ajout d'une option permettant d'utiliser un schéma personnalisé avec StringType (json brut) pour une propriété imbriquée.

Ajout d'une option spark.cosmos.auth.aad.clientCertPemBase64 de configuration pour permettre d'utiliser l'authentification SPN (ServicePrincipal nom) avec un certificat au lieu du secret client.

TLSle chiffrement est activé par défaut.

Lorsque encrypt = false mais que le serveur exige le chiffrement, le certificat est validé en fonction du paramètre de trustServerCertificate connexion.

aadSecurePrincipalIdet aadSecurePrincipalSecret obsolète.

getAADSecretPrincipalIdAPIsupprimé.

Ajout de la prise en charge du type de données SQL _Variant lors de la récupération. DateTimeOffset

CNAMERésolution ajoutée lorsque le domaine est spécifié.

Support du mode micro-batch avec Spark Structured Streaming.

Support pour les types de BSON données.

Ajout de la prise en charge de la lecture de plusieurs collections lors de l'utilisation des modes microbatch ou de diffusion continue.

Ajout d'un nouveau trim_space paramètre que vous pouvez utiliser pour réduire automatiquement les valeurs des StringType colonnes lors de l'enregistrement dans une table Snowflake. Par défaut: false.

Le abort_detached_query paramètre a été désactivé par défaut au niveau de la session.

Suppression de l'exigence du SFUSER paramètre lors de l'utilisationOAUTH.

Suppression de la fonctionnalité Advanced Query Pushdown. Des alternatives à cette fonctionnalité sont disponibles. Par exemple, au lieu de charger des données à partir de tables Snowflake, les utilisateurs peuvent charger directement des données à partir de requêtes SQL Snowflake.