Utilisation des AWS Glue Data Catalog vues dans AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Vous pouvez créer et gérer des vues dans le AWS Glue Data Catalog, communément appelé AWS Glue Data Catalog vues. Ces vues sont utiles car elles prennent en charge plusieurs moteurs de requêtes SQL, ce qui vous permet d'accéder à la même vue sur différents AWS services Amazon Athena, tels que Amazon Redshift, et AWS Glue. Vous pouvez utiliser des vues basées sur Apache Iceberg, Apache Hudi et Delta Lake.

En créant une vue dans le catalogue de données, vous pouvez utiliser des autorisations de ressources et des contrôles d'accès basés sur des balises AWS Lake Formation pour autoriser l'accès à celui-ci. Avec cette méthode de contrôle d'accès, il n'est pas nécessaire de configurer un accès supplémentaire aux tables référencées lors de la création de la vue. Cette méthode d'octroi d'autorisations est appelée sémantique du définisseur, et ces vues sont appelées vues du définisseur. Pour plus d'informations sur le contrôle d'accès dans AWS Lake Formation, consultez la section Octroi et révocation d'autorisations sur les ressources du catalogue de données dans le guide du AWS Lake Formation développeur.

Les vues du catalogue de données sont utiles dans les cas d'utilisation suivants :

Création d’un affichage du Catalogue de données

Vous pouvez créer des vues de catalogue de données à l'aide des scripts AWS Glue ETL AWS CLI et de Spark SQL. La syntaxe permettant de créer une vue du catalogue de données consiste à spécifier le type de vue as MULTI DIALECT et le SECURITY prédicat asDEFINER, en indiquant une vue plus précise.

Exemple d'instruction SQL pour créer une vue du catalogue de données :

CREATE PROTECTED MULTI DIALECT VIEW database_name.catalog_view SECURITY DEFINER
AS SELECT order_date, sum(totalprice) AS price
FROM source_table
GROUP BY order_date;

Après avoir créé une vue du catalogue de données, vous pouvez utiliser un rôle IAM doté de l'autorisation AWS Lake Formation « SELECT » sur la vue pour l'interroger à partir de services tels que des tâches ETL ou des tâches Amazon Athena Amazon Redshift ETL. AWS Glue Il n'est pas nécessaire d'autoriser l'accès aux tables sous-jacentes référencées dans la vue.

Pour plus d'informations sur la création et la configuration des vues du catalogue de données, voir Création de vues du catalogue de AWS Glue données dans le guide du AWS Lake Formation développeur.

Opérations d'affichage prises en charge

Les fragments de commande suivants vous montrent différentes manières d'utiliser les vues du catalogue de données :

CRÉER UNE VUE

Crée une vue du catalogue de données. Voici un exemple illustrant la création d'une vue à partir d'une table existante :

CREATE PROTECTED MULTI DIALECT VIEW catalog_view 
SECURITY DEFINER AS SELECT * FROM my_catalog.my_database.source_table

MODIFIER LA VUE

Syntaxe disponible :

ALTER VIEW view_name [FORCE] ADD DIALECT AS query
ALTER VIEW view_name [FORCE] UPDATE DIALECT AS query
ALTER VIEW view_name DROP DIALECT

Vous pouvez utiliser FORCE ADD DIALECT cette option pour forcer la mise à jour du schéma et des sous-objets conformément au nouveau dialecte du moteur. Notez que cela peut entraîner des erreurs de requête si vous ne les utilisez pas également FORCE pour mettre à jour d'autres dialectes du moteur. Voici un exemple :

ALTER VIEW catalog_view FORCE ADD DIALECTAS
SELECT order_date, sum(totalprice) AS priceFROM source_tableGROUP BY orderdate;

Ce qui suit montre comment modifier une vue afin de mettre à jour le dialecte :

ALTER VIEW catalog_view UPDATE DIALECT AS
SELECT count(*) FROM my_catalog.my_database.source_table;

DÉCRIRE LA VUE

Syntaxe disponible pour décrire une vue :

SHOW COLUMNS {FROM|IN} view_name [{FROM|IN} database_name]— Si l'utilisateur dispose AWS Glue des AWS Lake Formation autorisations requises pour décrire la vue, il peut répertorier les colonnes. Voici quelques exemples de commandes permettant d'afficher des colonnes :

SHOW COLUMNS FROM my_database.source_table;    
SHOW COLUMNS IN my_database.source_table;

DESCRIBE view_name— Si l'utilisateur dispose AWS Glue des AWS Lake Formation autorisations requises pour décrire la vue, il peut répertorier les colonnes de la vue ainsi que ses métadonnées.

SUPPRIMER LA VUE

Syntaxe disponible :

DROP VIEW [ IF EXISTS ] view_name

L'exemple suivant montre une DROP instruction qui teste si une vue existe avant de la supprimer :

DROP VIEW IF EXISTS catalog_view;

SHOW CREATE VIEW view_name— Affiche l'instruction SQL qui crée la vue spécifiée. Voici un exemple illustrant la création d'une vue de catalogue de données :

SHOW CREATE TABLE my_database.catalog_view;CREATE PROTECTED MULTI DIALECT VIEW my_catalog.my_database.catalog_view (
  net_profit,
  customer_id,
  item_id,
  sold_date)
TBLPROPERTIES (
  'transient_lastDdlTime' = '1736267222')
SECURITY DEFINER AS SELECT * FROM
my_database.store_sales_partitioned_lf WHERE customer_id IN (SELECT customer_id from source_table limit 10)

AFFICHER LES VUES

Répertoriez toutes les vues du catalogue, telles que les vues normales, les vues multidialectes (MDV) et les vues MDV sans le dialecte Spark. La syntaxe disponible est la suivante :

SHOW VIEWS [{ FROM | IN } database_name] [LIKE regex_pattern]:

Voici un exemple de commande permettant d'afficher les vues :

SHOW VIEWS IN marketing_analytics LIKE 'catalog_view*';

Pour plus d'informations sur la création et la configuration de vues de catalogue de données, voir Création de vues de catalogue de AWS Glue données dans le guide du AWS Lake Formation développeur.

Interrogation d’un affichage du Catalogue de données

Après avoir créé une vue du catalogue de données, vous pouvez interroger la vue. Le rôle IAM configuré dans vos AWS Glue tâches doit disposer de l'autorisation Lake Formation SELECT dans la vue du catalogue de données. Il n'est pas nécessaire d'autoriser l'accès aux tables sous-jacentes référencées dans la vue.

Une fois que tout est configuré, vous pouvez demander votre avis. Par exemple, vous pouvez exécuter la requête suivante pour accéder à une vue.

SELECT * from my_database.catalog_view LIMIT 10;

Limites

Tenez compte des limites suivantes lorsque vous utilisez les vues du catalogue de données.