AWS Lake Formation:運作方式 - AWS Lake Formation

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Lake Formation:運作方式

AWS Lake Formation 提供關聯式資料庫管理系統 (RDBMS) 許可模型,以授與或撤銷資料目錄資源的存取權,例如資料庫、表格和 Amazon S3 中含有基礎資料的資料行。易於管理的 Lake Formation 許可取代複雜的 Amazon S3 儲存貯體政策和對應的 IAM 政策。

在 Lake Formation 中,您可以在兩個級別上實現權限:

  • 對資料目錄資源 (例如資料庫和表格) 強制執行中繼資料層級權限

  • 代表整合引擎管理 Amazon S3 中存放的基礎資料的儲存存取權限

Lake Formation 權限管理工作流程

Lake Formation 與分析引擎整合,以查詢已在 Lake Formation 註冊的 Amazon S3 資料存放區和中繼資料物件。下圖說明了許可管理在 Lake Formation 中的運作方式。

Lake Formation 許可管理高級步驟

在 Lake Formation 可以為資料湖中的資料提供存取控制之前,資料湖管理員或具有管理權限的使用者會設定個別的「資料目錄」表格使用者原則,以允許或拒絕使用 Lake Formation 權限存取「資料目錄」表格。

然後,資料湖管理員或管理員委派的使用者將 Lake Formation 許可授與資料目錄資料庫和表格上的使用者,並將表格的 Amazon S3 位置註冊到 Lake Formation。

  1. 取得中繼資料 — 主體 (使用者) 將查詢或 ETL 指令碼提交至整合式分析引擎,例如 Amazon Athena AWS Glue、Amazon EMR 或 Amazon Redshift Spectrum。整合式分析引擎可識別要求的資料表,並將中繼資料要求傳送至資料目錄。

  2. 檢查權限 —「資料目錄」會透過 Lake Formation 檢查使用者的權限,如果使用者獲得存取資料表的授權,則會將允許使用者查看的中繼資料傳回引擎。

  3. 取得認證 — 資料目錄可讓引擎知道表格是否由 Lake Formation 管理。如果基礎資料已向 Lake Formation 註冊,則分析引擎會要求 Lake Formation 透過授予臨時存取權來提供資料存取權。

  4. 得資料 — 如果使用者獲得存取資料表的授權,Lake Formation 會提供對整合式分析引擎的暫時存取權。分析引擎會使用暫時存取從 Amazon S3 擷取資料,並執行必要的篩選,例如欄、列或儲存格篩選。當引擎完成執行作業時,會將結果傳回給使用者。此過程稱為憑證自動售貨機

    如果表格不是由 Lake Formation 管理,則會直接向 Amazon S3 進行分析引擎的第二個呼叫。系統會針對資料存取評估相關的 Amazon S3 儲存貯體政策和 IAM 使用者政策。

    每當您使用 IAM 政策時,請務必遵循 IAM 最佳實務。如需詳細資訊,請參閱《IAM 使用者指南》中的 IAM 中的安全性最佳實務