Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa formati di tabella non Hive in Athena per Spark
Quando lavori con sessioni e notebook in Athena for Spark, puoi usare le tabelle Delta Lake, Apache Hudi e Apache Iceberg di Linux Foundation, oltre alle tabelle Apache Hive.
Considerazioni e limitazioni
Quando si utilizzano formati di tabella diversi da Apache Hive con Athena per Spark, considerare i seguenti punti:
-
Oltre ad Apache Hive, è supportato un solo formato di tabella per notebook. Per utilizzare più formati di tabella in Athena for Spark, crea un notebook separato per ogni formato di tabella. Per informazioni sulla creazione di taccuini in Athena per Spark, consulta Fase 7: Crea il tuo taccuino.
-
I formati di tabella Delta Lake, Hudi e Iceberg sono stati testati su Athena for Spark utilizzando AWS Glue come metastore. Potresti essere in grado di utilizzare altri metastore, ma tale utilizzo non è attualmente supportato.
-
Per utilizzare i formati di tabella aggiuntivi, sostituisci la proprietà predefinita
spark_catalog, come indicato nella console Athena e in questa documentazione. Questi cataloghi non Hive possono leggere le tabelle Hive, oltre ai propri formati di tabella.
Versioni di tabella
La seguente tabella mostra le versioni di tabella non Hive supportate in Amazon Athena per Apache Spark.
| Formato della tabella | Versione supportata |
|---|---|
| Apache Iceberg | 1.2.1 |
| Apache Hudi | 0,13 |
| Linux Foundation Delta Lake | 2.0.2 |
In Athena for Spark, questi file .jar in formato tabella e le relative dipendenze vengono caricati nel classpath per i driver e gli executor Spark.
Per un AWS Post del blog Big Data che mostra come lavorare con i formati di tabella Iceberg, Hudi e Delta Lake utilizzando Spark nei notebook Amazon SQL Athena, vedi Usa Amazon Athena con Spark per i tuoi formati di tabelle transazionali open
Argomenti
