Interroga le tabelle Delta Lake di Linux Foundation - Amazon Athena
Considerazioni e limitazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Interroga le tabelle Delta Lake di Linux Foundation

Delta Lake di Linux Foundation è un formato di tabella per la Big data/analisi. Puoi utilizzare Amazon Athena per leggere direttamente le tabelle Delta Lake archiviate in Amazon S3 senza dover generare file di manifesto o eseguire l'istruzione MSCK REPAIR.

Il formato Delta Lake archivia i valori minimi e massimi per colonna di ogni file di dati. L'implementazione di Athena utilizza queste informazioni per consentire di saltare i file sui predicati per non considerare i file indesiderati.

Considerazioni e limitazioni

L'assistenza di Delta Lake ad Athena ha le seguenti considerazioni e limitazioni:

  • Solo tabelle con AWS Glue catalogo: il supporto nativo di Delta Lake è supportato solo tramite tabelle registrate con. AWS Glue Se hai una tabella Delta Lake registrata con un altro metastore, puoi comunque conservarla e trattarla come metastore principale. Poiché i metadati Delta Lake sono archiviati nel file system (ad esempio, in Amazon S3) anziché nel metastore, Athena richiede solo la AWS Glue proprietà location in per leggere le tabelle Delta Lake.

  • Solo motore V3: le query Delta Lake sono supportate solo sulla versione 3 del motore Athena. È necessario assicurarsi che il gruppo di lavoro creato sia configurato per l'utilizzo della versione 3 del motore Athena.

  • Versione del lettore Delta Lake: è supportato il protocollo di lettura Delta Lake fino alla versione 3.

  • Supporto per vettori di eliminazione — Athena supporta la lettura da tabelle Delta Lake con vettori di eliminazione. I vettori di eliminazione sono una funzionalità di ottimizzazione dell'archiviazione che può essere abilitata sulle tabelle Delta Lake. Per ulteriori informazioni, consulta Cosa sono i vettori di cancellazione? nella documentazione di Delta Lake.

  • Sono supportate la mappatura delle colonne e timestampNtz — la mappatura delle colonne Delta, che consente alle colonne della tabella Delta e alle colonne sottostanti del file Parquet di utilizzare nomi diversi, e il timestamp senza timezone (). timestampNtz

  • Supporto per le query temporali non disponibile: non è disponibile alcun supporto per le query che utilizzano le funzionalità temporali di Delta Lake.

  • Sola lettura: DML istruzioni di scrittura come o non sono UPDATE supportateINSERT. DELETE

  • Supporto di Lake Formation: l'integrazione di Lake Formation non è disponibile per tabelle Delta Lake con il relativo schema sincronizzato con AWS Glue. Per ulteriori informazioni, consulta Utilizzo AWS Lake Formation con Amazon Athena e Configurazione delle autorizzazioni per una tabella Delta Lake nella Guida per gli AWS Lake Formation sviluppatori.

  • DDLSupporto limitato: sono supportate le seguenti DDL istruzioni:CREATE EXTERNAL TABLE,,SHOW COLUMNS, SHOW TBLPROPERTIES SHOW PARTITIONSSHOW CREATE TABLE, e. DESCRIBE Per informazioni sull'utilizzo dell'istruzione CREATE EXTERNAL TABLE, consulta la sezione Inizia a usare.

  • Ignorare gli oggetti S3 Glacier non è supportato: se gli oggetti nella tabella Delta Lake di Linux Foundation si trovano in una classe di archiviazione Amazon S3 Glacier, l'impostazione della proprietà della tabella read_restored_glacier_objects su false non ha alcun effetto.

    Ad esempio, supponiamo di emettere il seguente comando:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Per le tabelle Iceberg e Delta Lake, il comando produce l'errore Chiave delle proprietà della tabella non supportata: read_restored_glacier_objects. Per le tabelle Hudi, il comando ALTER TABLE non produce un errore, ma gli oggetti Amazon S3 Glacier ancora non verranno ignorati. L'esecuzione delle query SELECT dopo il comando ALTER TABLE continuerà a restituire tutti gli oggetti.

Argomenti