Abilitazione dell'ottimizzatore di compattazione - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitazione dell'ottimizzatore di compattazione

Puoi utilizzare la AWS Glue console AWS CLI, o AWS API abilitare la compattazione per le tabelle Apache Iceberg presenti nel AWS Glue Catalogo dati. Per le nuove tabelle, puoi scegliere Apache Iceberg come formato di tabella e abilitare la compattazione quando crei la tabella. La compattazione è disabilitata per impostazione predefinita per le nuove tabelle.

Console
Per abilitare la compattazione

  1. Apri la AWS Glue console https://console.aws.amazon.com/glue/e accedi come amministratore del data lake, creatore della tabella o utente a cui sono state concesse lakeformation:GetDataAccess le autorizzazioni glue:UpdateTable e sulla tabella.

  2. Nel pannello di navigazione, in Catalogo dati, seleziona Tabelle.

  3. Nella pagina Tabelle, scegli una tabella in formato tabella aperta per la quale desideri abilitare la compattazione, quindi nel menu Azioni, scegli Ottimizzazione e quindi scegli Abilita.

    È inoltre possibile abilitare la compattazione selezionando la scheda Ottimizzazione della tabella nella pagina dei dettagli della tabella. Scegli la scheda Ottimizzazione della tabella nella sezione inferiore della pagina e scegli Abilita compattazione.

    L'opzione Abilita ottimizzazione è disponibile anche quando si crea una nuova tabella Iceberg nel Data Catalog.

  4. Nella pagina Abilita ottimizzazione, scegli Compattazione in Opzioni di ottimizzazione.

    Pagina dei dettagli della tabella Apache Iceberg con l'opzione Abilita compattazione.

  5. Successivamente, seleziona un IAM ruolo dal menu a discesa con le autorizzazioni mostrate nella Prerequisiti per l'ottimizzazione delle tabelle sezione.

    Puoi anche scegliere l'opzione Crea un nuovo IAM ruolo per creare un ruolo personalizzato con le autorizzazioni necessarie per eseguire la compattazione.

    Segui la procedura riportata di seguito per aggiornare un IAM ruolo esistente:

    1. Per aggiornare la politica di autorizzazione per il IAM ruolo, nella IAM console, vai al IAM ruolo utilizzato per eseguire la compattazione.

    2. Nella sezione Aggiungi autorizzazioni, scegli Crea politica. Nella finestra del browser appena aperta, crea una nuova policy da utilizzare con il tuo ruolo.

    3. Nella pagina Crea policy scegliere la JSON scheda. Copia il JSON codice mostrato nei Prerequisiti nel campo dell'editor di policy.

  6. Se disponi di configurazioni di policy di sicurezza in cui l'ottimizzatore di tabelle Iceberg deve accedere ai bucket Amazon S3 da uno specifico Virtual Private Cloud (VPC), creare una connessione di AWS Glue rete o utilizzarne una esistente.

    Se non hai già configurato una AWS Glue VPC connessione, creane una nuova seguendo i passaggi nella sezione Creazione di connessioni per i connettori utilizzando la AWS Glue console o/. AWS CLI SDK

  7. Scegli Abilita ottimizzazione.

AWS CLI

L'esempio seguente mostra come abilitare la compattazione. Sostituisci l'ID dell'account con un ID AWS dell'account valido. Sostituisci il nome del database e della tabella con quello effettivo della tabella Iceberg e del database. Sostituisci il roleArn con il nome della AWS risorsa (ARN) del IAM ruolo e il nome del IAM ruolo che dispone delle autorizzazioni necessarie per eseguire la compattazione. 

aws glue create-table-optimizer \
  --catalog-id 123456789012 \
  --database-name iceberg_db \
  --table-name iceberg_table \
  --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role", "enabled":'true',
                                   "vpcConfiguration":{"glueConnectionName":"glue_connection_name"}}' \
  --type compaction
AWS API

CreateTableOptimizerOperazione di chiamata per abilitare la compattazione di una tabella.

Dopo aver abilitato la compattazione, la scheda di Ottimizzazione della tabella mostra i seguenti dettagli di compattazione, dopo circa 15-20 minuti:

Ora di inizio

L'ora in cui è iniziato il processo di compattazione all'interno di Catalogo dati. Il valore è un timestamp nel UTC tempo.

Ora di fine

L'ora in cui è finito il processo di compattazione all'interno di Catalogo dati. Il valore è un timestamp nel UTC tempo.

Stato

Lo stato dell'esecuzione di compattazione. I valori sono esito positivo o negativo.

File compattati

Numero totale di file compattati.

Byte compattati

Numero totale di byte compattati.