本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
考量與限制
-
支援 Delta Lake 與 Amazon EMR 6.9.0 版及更高版本搭配使用。您可以在具有 Delta 資料表的 Amazon EMR 叢集上使用 Apache Spark
3.x。 -
建議您對 S3 位置路徑使用 s3 URI 結構描述而不是 s3a,以取得最佳效能、安全性和可靠性。如需詳細資訊,請參閱使用儲存和檔案系統。
-
使用 Amazon EMR 7.0 時,不支援 Delta Universal Format (UniForm) 和 convert-to-Iceberg 陳述式。
-
使用 Amazon EMR 6.9 和 6.10,在您將 Delta Lake 資料表資料儲存在 Amazon S3 中時,資料欄資料會在資料欄重新命名操作後變為
NULL
。Amazon EMR 6.11 已解決此問題。如需有關實驗性資料欄重新命名操作的詳細資訊,請參閱《Delta Lake 使用者指南》中的資料欄重新命名操作。 -
如果您在 Apache Spark AWS 外部的 Glue Data Catalog 中建立資料庫,則資料庫可能會有空白
LOCATION
欄位。由於 Spark 不允許使用空位置屬性建立資料庫,因此如果您在 Amazon EMR 中使用 Spark 於 Glue 資料庫中建立 Delta 資料表,且此資料庫具有空的LOCATION
屬性,您將收到下列錯誤:IllegalArgumentException: Can not create a Path from an empty string
若要解決此問題,請在 Data Catalog 中建立資料庫,並為
LOCATION
欄位使用有效的非空路徑。如需實作此解決方案的步驟,請參閱《Amazon Athena 使用者指南》中的建立資料表時的非法引數例外狀況。