限制 - AWS Glue
由 Lake Formation 權限管理的資料湖格式資料表的限制

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

限制

在搭配使用資料湖架構之前，請考慮下列限制 AWS Glue。

  • 下列 DynamicFrame 不支援讀取和寫入資料湖架構表格的 AWS Glue GlueContext方法。使用的GlueContext方法 DataFrame 或火花 DataFrame API代替。

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • Lake Formation 權限控制支援下列GlueContext方法： DataFrame

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

  • 不支援將小型檔案分組。

  • 不支援任務書籤。

  • 阿帕奇胡迪 0.10.1 AWS Glue 3.0 不支持胡迪合併讀 (MOR) 表.

  • ALTER TABLE … RENAME TO不適用於阿帕奇冰山 0.13.1 3.0。 AWS Glue

由 Lake Formation 權限管理的資料湖格式資料表的限制

資料湖格式與 AWS Glue ETL透過 Lake Formation 權限整合。不支援建立 DynamicFrame 使用create_dynamic_frame。如需詳細資訊，請參閱下列範例：

注意

與 Apache 胡迪，Apache 冰山和三角洲湖的 AWS Glue ETL通過 Lake Formation 權限的集成僅在 4.0 AWS Glue 版本中受支持。

阿帕奇冰山擁有 AWS Glue ETL通過 Lake Formation 權限的最佳集成。它支持幾乎所有操作並包括SQL支持。

Hudi 支援大多數基本操作 (除管理操作外)。這是因為這些選項通常會透過 DataFrame 寫入完成，並透過 additional_options 指定。您需要使用 AWS Glue APIs為您的操 DataFrames 作創建，因SQL為不支持 Spark。

Delta Lake 僅支援讀取、附加及覆寫資料表資料。Delta Lake 需要使用自有的程式庫才可執行不同任務 (例如，更新)。

下列功能不適用於 Lake Formation 權限管理的 Iceberg 資料表。

  • 壓實使用 AWS Glue ETL

  • 通過火花SQL支持 AWS Glue ETL

下列為 Lake Formation 權限管理的 Hudi 資料表限制：

  • 移除遺棄的檔案

下列為 Lake Formation 權限管理的 Delta Lake 資料表限制：

  • 插入 Delta Lake 資料表和從其中讀取以外的所有功能。