Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo di formati di tabella non Hive in Amazon Athena per Apache Spark
Quando lavori con sessioni e notebook in Athena for Spark, puoi usare le tabelle Delta Lake, Apache Hudi e Apache Iceberg di Linux Foundation, oltre alle tabelle Apache Hive.
Considerazioni e limitazioni
Quando si utilizzano formati di tabella diversi da Apache Hive con Athena per Spark, considerare i seguenti punti:
-
Oltre ad Apache Hive, è supportato un solo formato di tabella per notebook. Per utilizzare più formati di tabella in Athena for Spark, crea un notebook separato per ogni formato di tabella. Per informazioni sulla creazione di taccuini in Athena per Spark, consulta Creazione di un notebook.
-
I formati di tabella Delta Lake, Hudi e Iceberg sono stati testati su Athena for Spark utilizzandoli come metastore. AWS Glue Potresti essere in grado di utilizzare altri metastore, ma tale utilizzo non è attualmente supportato.
-
Per utilizzare i formati di tabella aggiuntivi, sostituisci la proprietà predefinita
spark_catalog, come indicato nella console Athena e in questa documentazione. Questi cataloghi non Hive possono leggere le tabelle Hive, oltre ai propri formati di tabella.
Versioni di tabella
La seguente tabella mostra le versioni di tabella non Hive supportate in Amazon Athena per Apache Spark.
| Formato della tabella | Versione supportata |
|---|---|
| Apache Iceberg | 1.2.1 |
| Apache Hudi | 0,13 |
| Linux Foundation Delta Lake | 2.0.2 |
In Athena for Spark, questi file .jar in formato tabella e le relative dipendenze vengono caricati nel classpath per i driver e gli executor Spark.
Per un post sul blog AWS Big Data che mostra come lavorare con i formati di tabella Iceberg, Hudi e Delta Lake utilizzando Spark nei notebook Amazon SQL Athena, consulta Usa Amazon Athena con Spark per i tuoi formati di tabelle transazionali open
