Activation de l'optimiseur de compactage - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Activation de l'optimiseur de compactage

Vous pouvez utiliser … AWS Glue console, AWS CLI, ou AWS APIpour activer le compactage de vos tables Apache Iceberg dans AWS Glue Catalogue de données. Pour les nouvelles tables, vous pouvez choisir Apache Iceberg comme format de table et activer le compactage lors de la création de la table. Le compactage est désactivé par défaut pour les nouvelles tables.

Console
Pour activer le compactage

  1. Ouvrez le fichier AWS Glue console https://console.aws.amazon.com/glue/et connectez-vous en tant qu'administrateur du lac de données, créateur de table ou utilisateur ayant obtenu les lakeformation:GetDataAccess autorisations glue:UpdateTable et sur la table.

  2. Dans le panneau de navigation, sous Catalogue de données, choisissez Tables.

  3. Sur la page Tables, choisissez une table au format de table ouverte pour laquelle vous souhaitez activer le compactage, puis dans le menu Actions, choisissez Optimisation, puis sélectionnez Activer.

    Vous pouvez également activer le compactage en sélectionnant l'onglet Optimisation des tables sur la page des détails des tables. Choisissez l'onglet Optimisation des tables dans la partie inférieure de la page, puis sélectionnez Activer le compactage.

    L'option Activer l'optimisation est également disponible lorsque vous créez une nouvelle table Iceberg dans le catalogue de données.

  4. Sur la page Activer l'optimisation, sélectionnez Compaction sous Options d'optimisation.

    Page de détails de la table Apache Iceberg avec l'option Activer le compactage.

  5. Ensuite, sélectionnez un IAM rôle dans le menu déroulant avec les autorisations indiquées dans la Conditions préalables requises pour l'optimisation des tables section.

    Vous pouvez également choisir l'option Créer un nouveau IAM rôle pour créer un rôle personnalisé doté des autorisations requises pour exécuter le compactage.

    Suivez les étapes ci-dessous pour mettre à jour un IAM rôle existant :

    1. Pour mettre à jour la politique d'autorisation pour le IAM rôle, dans la IAM console, accédez au IAM rôle utilisé pour exécuter le compactage.

    2. Dans la section Ajouter des autorisations, choisissez Créer une politique. Dans la fenêtre du navigateur nouvellement ouverte, créez une nouvelle stratégie à utiliser avec votre rôle.

    3. Sur la page Créer une politique, choisissez l'JSONonglet. Copiez le JSON code affiché dans les conditions préalables dans le champ de l'éditeur de politiques.

  6. Choisissez Activer l'optimisation.

AWS CLI

L'exemple suivant montre comment activer le compactage. Remplacez l'identifiant du compte par un numéro valide AWS identifiant de compte. Remplacez le nom de la base de données et le nom de la table par un nom réel de la table Iceberg et le nom de la base de données. Remplacez roleArn le par AWS Nom de ressource (ARN) du IAM rôle et nom du IAM rôle disposant des autorisations requises pour exécuter le compactage. 

aws glue create-table-optimizer \
  --catalog-id 123456789012 \
  --database-name iceberg_db \
  --table-name iceberg_table \
  --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role", "enabled":'true'}' \
  --type compaction
AWS API

Appelez une opération CreateTableOptimizer pour activer le compactage d'une table.

Après avoir activé le compactage, l'onglet Optimisation des tables affiche les détails de compactage suivants (après environ 15 à 20 minutes) :

L’heure de début

Heure à laquelle le processus de compactage a commencé dans le catalogue de données. La valeur est un horodatage dans UTC le temps.

L’heure de fin

Heure à laquelle le processus de compactage s'est terminé dans le catalogue de données. La valeur est un horodatage dans UTC le temps.

Statut

État du cycle de compactage. Les valeurs sont la réussite ou l'échec.

Fichiers compactés

Nombre total de fichiers compactés.

Octets compactés

Nombre total d'octets compactés.