Interroga le tabelle Delta Lake di Linux Foundation - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Interroga le tabelle Delta Lake di Linux Foundation

Delta Lake di Linux Foundation è un formato di tabella per la Big data/analisi. Puoi utilizzare Amazon Athena per leggere direttamente le tabelle Delta Lake archiviate in Amazon S3 senza dover generare file di manifesto o eseguire l'istruzione MSCK REPAIR.

Il formato Delta Lake archivia i valori minimi e massimi per colonna di ogni file di dati. L'implementazione di Athena utilizza queste informazioni per consentire di saltare i file sui predicati per non considerare i file indesiderati.

Considerazioni e limitazioni

L'assistenza di Delta Lake ad Athena ha le seguenti considerazioni e limitazioni:

  • Solo tabelle con AWS Glue catalogo: il supporto nativo di Delta Lake è supportato solo tramite tabelle registrate con. AWS Glue Se hai una tabella Delta Lake registrata con un altro metastore, puoi comunque conservarla e trattarla come metastore principale. Poiché i metadati Delta Lake sono archiviati nel file system (ad esempio, in Amazon S3) anziché nel metastore, Athena richiede solo la AWS Glue proprietà location in per leggere le tabelle Delta Lake.

  • Solo motore V3: le query Delta Lake sono supportate solo sulla versione 3 del motore Athena. È necessario assicurarsi che il gruppo di lavoro creato sia configurato per l'utilizzo della versione 3 del motore Athena.

  • Supporto per le query temporali non disponibile: non è disponibile alcun supporto per le query che utilizzano le funzionalità temporali di Delta Lake.

  • Sola lettura: le istruzioni DML di scrittura come UPDATE, INSERT o DELETE non sono supportate.

  • Supporto di Lake Formation: l'integrazione di Lake Formation non è disponibile per tabelle Delta Lake con il relativo schema sincronizzato con AWS Glue. Per ulteriori informazioni, consulta Utilizzo AWS Lake Formation con Amazon Athena e Configurazione delle autorizzazioni per una tabella Delta Lake nella Guida per gli AWS Lake Formation sviluppatori.

  • Supporto DDL limitato: sono supportate le seguenti istruzioni DDL: CREATE EXTERNAL TABLE, SHOW COLUMNS, SHOW TBLPROPERTIES, SHOW PARTITIONS, SHOW CREATE TABLE e DESCRIBE. Per informazioni sull'utilizzo dell'istruzione CREATE EXTERNAL TABLE, consulta la sezione Inizia a usare.

  • Ignorare gli oggetti S3 Glacier non è supportato: se gli oggetti nella tabella Delta Lake di Linux Foundation si trovano in una classe di archiviazione Amazon S3 Glacier, l'impostazione della proprietà della tabella read_restored_glacier_objects su false non ha alcun effetto.

    Ad esempio, supponiamo di emettere il seguente comando:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Per le tabelle Iceberg e Delta Lake, il comando produce l'errore Chiave delle proprietà della tabella non supportata: read_restored_glacier_objects. Per le tabelle Hudi, il comando ALTER TABLE non produce un errore, ma gli oggetti Amazon S3 Glacier ancora non verranno ignorati. L'esecuzione delle query SELECT dopo il comando ALTER TABLE continuerà a restituire tutti gli oggetti.

Versionamento di Delta Lake e Athena

Athena non utilizza le versioni elencate nella documentazione di Delta Lake. Per determinare se i tuoi tavoli Delta Lake sono compatibili con Athena, considera le due caratteristiche seguenti:

  • Versione Reader: ogni tavolo Delta Lake ha una versione Reader. Attualmente, si tratta di un numero compreso tra 1 e 3. Le interrogazioni che includono una tabella con una versione di lettura non supportata da Athena avranno esito negativo.

  • Caratteristiche della tabella: ogni tabella Delta Lake può anche dichiarare una serie di funzionalità di lettura/scrittura. Poiché il supporto di Athena per Delta Lake è di sola lettura, la compatibilità delle funzionalità di table writer non si applica. Tuttavia, le interrogazioni su tabelle con funzionalità di lettura delle tabelle non supportate avranno esito negativo.

La tabella seguente mostra le versioni del lettore Delta Lake e le funzionalità del lettore da tavolo Delta Lake supportate da Athena.

Tipo di query Versioni di lettura supportate Funzionalità di lettura supportate
DQL (istruzioni SELECT) <= 3 Mappatura delle colonne, timestampNTZ , vettori di cancellazione
DDL <= 1 Non applicabile. Le funzionalità del lettore possono essere dichiarate solo su tabelle con una versione del lettore pari o superiore a 2.

Per creare una tabella Delta Lake in Athena con una versione del lettore superiore a 1, vedi. Sincronizza i metadati di Delta Lake