View a markdown version of this page

Considérations et restrictions - Amazon EMR
GénéralPermissionsJournaux et débogageIceberg

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations et restrictions

Général

Prenez en compte les limites suivantes lorsque vous utilisez Lake Formation avec EMR Serverless.

Note

Lorsque vous activez Lake Formation pour une tâche Spark sur EMR Serverless, la tâche lance un pilote système et un pilote utilisateur. Si vous avez spécifié une capacité pré-initialisée au lancement, les pilotes sont fournis à partir de la capacité pré-initialisée et le nombre de pilotes système est égal au nombre de pilotes utilisateur que vous spécifiez. Si vous choisissez la capacité à la demande, EMR Serverless lance un pilote système en plus d'un pilote utilisateur. Pour estimer les coûts associés à votre tâche EMR Serverless with Lake Formation, utilisez le. Calculateur de tarification AWS

  • À partir d'Amazon EMR 7.14.0, les Formation-enabled applications Lake prennent en charge l'utilisation d'images EMR Serverless personnalisées uniquement dans l'espace utilisateur. L'espace système, qui applique les politiques de Lake Formation, continue d'utiliser l'image de base EMR Serverless par défaut. Cette prise en charge s'applique également à la ligne de version AWS d'exécution d'Apache Spark 8.x commençant emr-spark-8.1.0 par. Les images personnalisées avec Lake Formation ne sont pas prises en charge sur Amazon EMR 7.13.0 et les versions antérieures, ni sur les versions ultérieures. emr-spark-8.0.0

  • Vous ne pouvez pas désactiver DynamicResourceAllocation les offres d'emploi de Lake Formation.

  • Vous ne pouvez utiliser Lake Formation qu’avec des tâches Spark.

  • EMR Serverless with Lake Formation ne prend en charge qu'une seule session Spark au cours d'une tâche.

  • EMR Serverless with Lake Formation ne prend en charge que les requêtes de table entre comptes partagées via des liens de ressources.

  • Les éléments suivants ne sont pas pris en charge :

    • Jeux de données distribués résilients (RDD)

    • Spark Streaming

    • Contrôle d’accès pour les colonnes imbriquées

  • EMR Serverless bloque les fonctionnalités susceptibles de compromettre l'isolation complète du pilote système, notamment les suivantes :

    • UDT, HiveUDF et toute fonction définie par l’utilisateur impliquant des classes personnalisées

    • Sources de données personnalisées

    • Fourniture de fichiers JAR supplémentaires pour l’extension, le connecteur ou le métastore Spark

    • Commande ANALYZE TABLE

  • Si votre application EMR Serverless se trouve dans un sous-réseau privé avec des points de terminaison VPC pour Amazon S3 et que vous associez une politique de point de terminaison pour contrôler l'accès, avant que vos tâches puissent envoyer des données de journal à AWS Managed Amazon S3, incluez les autorisations détaillées dans Stockage géré dans votre politique VPC au point de terminaison de passerelle S3. Pour les demandes de dépannage, contactez AWS le support.

  • À partir d'Amazon EMR 7.9.0, Spark FGAC est compatible S3AFileSystem lorsqu'il est utilisé avec le schéma s3a ://.

  • Amazon EMR 7.11 prend en charge la création de tables gérées à l'aide du CTAS.

  • Amazon EMR 7.12 prend en charge la création de tables gérées et externes à l'aide du CTAS.

  • À partir d'Amazon EMR 7.12, les opérations DML et DDL qui modifient les données des tables utilisent les informations d'identification Lake Formation. Dans Amazon EMR 7.11 et les versions antérieures, ces opérations (sauf DELETE, UPDATE et MERGE) utilisent les informations d'identification du rôle d'exécution de la tâche pour modifier les données de la table. Amazon EMR 7.11 et les versions antérieures ne prennent pas en charge les opérations DELETE, UPDATE et MERGE.

  • Les opérations DDL et DML qui modifient les données des tables à l'aide des Formation-vended informations d'identification AWS Lake ne prennent en charge que le format S3A. Lorsque vous utilisez EMRFS, les informations d'identification du rôle d'exécution de la tâche s'appliquent à la place.

  • EMR Serverless with Lake Formation ne permet pas de lire ou d'écrire dans des tables qui pointent vers un emplacement autre que S3.

Permissions

  • Pour appliquer les contrôles d'accès, les opérations EXPLAIN PLAN et DDL telles que DESCRIBE TABLE n'exposent pas d'informations restreintes.

  • Lorsque vous enregistrez un emplacement de table auprès de Lake Formation, l'accès aux données utilise les informations d'identification stockées par Lake Formation au lieu des autorisations IAM du rôle d'exécution des tâches EMR Serverless. Les tâches échoueront si le rôle enregistré pour l'emplacement de la table est mal configuré, même si le rôle d'exécution dispose d'autorisations S3 IAM pour cet emplacement.

  • À partir d'Amazon EMR 7.12, vous pouvez écrire dans des tables Hive et Iceberg existantes en utilisant DataFrameWriter (V2) avec les informations d'identification Lake Formation en mode ajout. Pour les opérations de remplacement ou lors de la création de nouvelles tables, EMR utilise les informations d'identification du rôle d'exécution pour modifier les données des tables.

  • Les limites suivantes s'appliquent lors de l'utilisation de vues ou de tables mises en cache comme données source (ces limitations ne s'appliquent pas aux vues du catalogue de données AWS Glue) :

    • Pour les opérations MERGE, DELETE et UPDATE

      • Pris en charge : utilisation de vues et de tables mises en cache comme tables sources.

      • Non pris en charge : utilisation de vues et de tables mises en cache dans les clauses d'affectation et de condition.

    • Pour les opérations CREATE OR REPLACE et REPLACE TABLE AS SELECT :

      • Non pris en charge : utilisation de vues et de tables mises en cache comme tables sources.

  • Les tables Delta Lake dont les données sources contiennent des UDF prennent en charge les opérations MERGE, DELETE et UPDATE uniquement lorsque le vecteur de suppression est activé.

Journaux et débogage

  • EMR Serverless limite l'accès aux journaux Spark du pilote système sur les applications Lake. Formation-enabled Étant donné que le pilote système fonctionne avec des autorisations élevées, les événements et les journaux générés par le pilote système peuvent inclure des informations sensibles. Pour empêcher les utilisateurs non autorisés ou le code d'accéder à ces données sensibles, EMR Serverless désactive l'accès aux journaux des pilotes du système.

  • Les journaux de profil système sont toujours conservés dans le stockage géré. Il s'agit d'un paramètre obligatoire qui ne peut pas être désactivé. Ces journaux sont stockés en toute sécurité et chiffrés à l'aide d'une clé KMS gérée par le client ou d'une clé KMS AWS gérée.

Iceberg

Prenez en compte les points suivants lors de l'utilisation d'Apache Iceberg :

  • Vous ne pouvez utiliser Apache Iceberg qu’avec un catalogue de sessions et non avec des catalogues nommés arbitrairement.

  • Les tables Iceberg enregistrées dans Lake Formation ne prennent en charge que les tables de métadonnées historymetadata_log_entries,snapshots, filesmanifests, etrefs. Amazon EMR masque les colonnes susceptibles de contenir des données sensibles, telles que partitionspath, etsummaries. Cette restriction ne s’applique pas aux tables Iceberg qui ne sont pas enregistrées dans Lake Formation.

  • Les tables qui ne sont pas enregistrées dans Lake Formation prennent en charge toutes les procédures stockées dans Iceberg. Les procédures register_table et migrate ne sont prises en charge pour aucune table.

  • Nous vous suggérons d'utiliser Iceberg DataFrameWriterV2 au lieu de la V1.