Ottimizzazione della compattazione

I data lake Amazon S3 che utilizzano formati di tabelle aperte come Apache Iceberg archiviano i dati come oggetti S3. La presenza di migliaia di piccoli oggetti Amazon S3 in una tabella di data lake aumenta il sovraccarico dei metadati e influisce sulle prestazioni di lettura. AWS Glue Data Catalog fornisce una compattazione gestita per le tabelle Iceberg, compattando oggetti di piccole dimensioni in oggetti più grandi per migliori prestazioni di lettura tramite AWS servizi di analisi come Amazon Athena e AmazonEMR, e AWS Glue ETLlavori. Data Catalog esegue la compattazione senza interferire con le query simultanee e supporta la compattazione solo per le tabelle in formato Parquet.

L'ottimizzatore delle tabelle monitora continuamente le partizioni delle tabelle e avvia il processo di compattazione quando viene superata la soglia per il numero di file e le dimensioni dei file.

Nel Data Catalog, il processo di compattazione inizia e continuerà se la tabella o una qualsiasi delle partizioni all'interno della tabella contiene più di cinque file, ciascuno inferiore al 75% della dimensione del file di destinazione (attualmente impostata su 64 MB).

Per i tipi di dati, i formati di compressione e le limitazioni supportati, consulta. Formati e limitazioni supportati per la compattazione gestita dei dati