使用其他服務 AWS - AWS Lake Formation

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用其他服務 AWS

AWS 服務,例如 Amazon Athena AWS Glue、Amazon Redshift Spectrum 和 Amazon EMR可以使用 AWS Lake Formation 來安全地存取在 Lake Formation 註冊的 Amazon S3 位置中的資料。使用 Lake Formation,您可以定義和管理 中資料表的精細存取控制 (FGAC) 許可 AWS Glue Data Catalog。 AWS 這些服務都是 Lake Formation 的受信任呼叫者,Lake Formation 可透過暫時憑證存取存放在 Amazon S3 中的資料。如需詳細資訊,請參閱Lake Formation 應用程式整合的運作方式

為了使用這些功能,Lake Formation 會要求您先註冊 Amazon S3 位置,並將適當的許可指派給IAM主體,以存取資料表、資料庫和 Amazon S3 位置。如需詳細資訊,請參閱 管理 Lake Formation 許可

下表列出 Amazon Athena AWS Glue、Amazon 和 Amazon Redshift Spectrum 支援的 Lake Formation 許可類型EMR,以存取 AWS Glue 標準資料表和交易資料表 (Apache Iceberg Apache Hudi Linux 基礎 Delta Lake ) 中的資料,以及儲存在 Amazon S3 中的資料表中繼資料和 Data Catalog 中的資料表中繼資料。

AWSAWS Glue 標準資料表和檢視的 服務和支援的許可類型
AWS 服務 資料表層級許可 資料欄層級許可 資料列和儲存格層級許可
Athena SQL

讀取/寫入存取權

讀取存取權 讀取存取權
Athena Spark

不支援

不支援

不支援

佈建叢集或 Amazon Redshift 無伺服器上的 Redshift Spectrum

讀取/寫入存取權 讀取存取權 讀取存取權

Amazon 上的 Apache Spark EMR(EC2)

讀取/寫入存取權 讀取存取權 讀取存取權
Amazon 上的 Apache Hive EMR(EC2) 讀取/寫入存取權 讀取存取權 不支援
無EMR伺服器上的 Apache Spark 讀取/寫入存取權 讀取存取權 讀取存取權
Apache Hive on EMR Serverless 不支援 不支援 不支援
Amazon EMR on EKS 不支援 不支援 不支援
AWS Glue ETL 讀取/寫入存取權 不支援 不支援
考量與限制
  • Athena Spark 不支援使用 Lake Formation 許可查詢資料目錄資料表。

  • SAML以 Athena 為基礎的使用者可以啟用以 2.0 SAML 為基礎的聯合,讀取使用 Lake Formation 許可保護的資料來源。SAML 使用者可以將資料插入 Parquet 資料表。

  • EMR Serverless 上的 Apache Spark 不支援查詢 Data Catalog 檢視。

  • Apache Hive on EMR Serverless 不支援具有 Lake Formation 許可的查詢資料表。

  • AWS Glue ETL 需要完整存取整個資料表,同時從基礎 Amazon S3 位置擷取資料。 AWS Glue ETL 如果您在資料表上套用資料欄層級許可,任務會失敗。

AWS 交易資料表格式的 服務和支援的許可類型
AWS 服務 Iceberg Hudi Delta Lake (原生) Delta Lake (符號連結資料表)

Athena SQL

支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。寫入操作需要完整資料表存取。

支援對具有資料表、資料欄、資料列和儲存格層級許可的資料表進行讀取和建立操作。不支援寫入操作。

Athena (引擎版本 3) 支援讀取具有資料表、資料欄、資料列和儲存格層級許可的原生 Delta Lake 資料表。不支援寫入操作。

Athena (引擎版本 3) 支援讀取具有資料表、資料欄、資料列和儲存格層級許可的符號連結 Delta Lake 資料表。不支援寫入操作。

佈建叢集上的 Redshift Spectrum

支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。不支援寫入操作。

支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。不支援寫入操作。

不支援 支援透過具有資料表、資料欄、資料列和儲存格層級許可的符號連結清單讀取 Delta Lake 資料表。不支援寫入操作。
Amazon 上的 Apache Spark EMR(EC2) 支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。寫入操作需要完整資料表存取。 支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。寫入操作需要完整資料表存取。

支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。不支援寫入操作。

支援具有資料表、資料欄、資料列和儲存格層級許可的讀取資料表。寫入操作需要完整資料表存取。
AWS Glue ETL 支援對具有資料表層級許可的資料表進行讀取/寫入。 支援對具有資料表層級許可的資料表進行讀取/寫入。 支援對具有資料表層級許可的資料表進行讀取/寫入。 支援對具有資料表層級許可的資料表進行讀取/寫入。