本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

什么是 AWS Lake Formation？

欢迎阅读 AWS Lake Formation 开发者指南。

AWS Lake Formation 帮助您集中管理、保护和全球共享用于分析和机器学习的数据。您可以对 Amazon Simple Storage Service (Amazon S3) 上的数据湖数据及其在 AWS Glue Data Catalog中的元数据进行精细访问控制。

Lake Formation 提供了自己的权限模型，该模型增强了 IAM 权限模型。Lake Formation 权限模型允许通过简单的授予或撤销机制，精细访问存储在数据湖中的数据以及外部数据源，例如 Amazon Redshift 数据仓库 Amazon DynamoDB 、数据库和第三方数据源，就像关系数据库管理系统 (RDBMS) 一样。Lake Formation 权限是使用 AWS 分析和机器学习服务（包括亚马逊 Athena、Amazon Redsh Amazon QuickSight ift Spectrum、亚马逊 EMR 和）的列、行和单元格级别的精细控制来强制执行 Lake Formation 权限。 AWS Glue

借助 AWS Glue Data Catalog （数据目录）的 Lake Formation 混合访问模式，您可以使用 Lake Formation 权限和 Amazon S3 和 AWS Glue 操作的 IAM 权限策略来保护和访问已编目的数据。借助混合访问模式，数据管理员可以有选择地以增量方式加载 Lake Formation 权限，一次专注于一个数据湖用例。

Lake Formation 还允许您在多个 AWS 组织之间在内部和外部共享数据 AWS 账户，或者直接与另一个账户中的 IAM 委托人共享数据，从而提供对数据目录元数据和底层数据的精细访问权限。

Lake Formation 特征

Lake Formation 可帮助您打破数据孤岛，并将不同类型的结构化和非结构化数据合并到一个集中式存储库中。首先，确定 Amazon S3 或关系数据库和 NoSQL 数据库中的现有数据存储，然后将数据移动到数据湖中。然后对数据进行抓取、编目和准备以供分析。接下来，通过用户选择的分析服务，为他们提供对数据的安全自助访问。

您可以使用 Lake Formation 控制台在数据目录中创建多级联合目录，并统一亚马逊 S3 数据湖和 Amazon Redshift 数据仓库中的数据。您还可以整合来自操作数据库（例如，Google Amazon DynamoDB BigQuery、MySQL 等）的数据以及第三方数据源的数据。数据目录提供了一个集中式元数据存储库，使管理和发现不同系统中的数据变得更加容易。

有关更多信息，请参阅 将您的数据带入 AWS Glue Data Catalog。

数据摄取和管理

从已有的数据库中导入数据 AWS

指定现有数据库的位置并提供访问凭证后，Lake Formation 就会读取数据及其元数据（架构）以了解数据来源的内容。然后，它会将数据导入您的新数据湖，并将元数据记录在中央目录中。使用 Lake Formation，你可以从在亚马逊 RDS 中运行或托管在亚马逊的 MySQL、PostgreSQL、SQL Server、MariaDB 和 Oracle 数据库中导入数据。 EC2支持批量和增量数据加载。

从其他外部来源导入数据

您可以使用 Lake Formation 通过与 Java Database Connectivity (JDBC) 连接来从本地数据库移动数据。确定您的目标来源并在控制台中提供访问凭证，然后 Lake Formation 会读取您的数据并将其加载到数据湖中 要从上面列出的数据库以外的数据库导入数据，您可以使用创建自定义 ETL 作业。 AWS Glue

对数据进行编目和标记

您可以使用 AWS Glue 爬网程序读取 Amazon S3 中的数据，提取数据库和表架构，并将这些数据存储在可搜索的数据目录中。然后，使用 Lake Formation Lake Formation 基于标签的访问控制 (TBAC) 管理对数据库、表和列的权限。有关将表添加到数据目录的更多信息，请参阅在中创建对象 AWS Glue Data Catalog。

安全管理

定义和管理访问控制

Lake Formation 提供了一个位置来管理数据湖中数据的访问控制。您可以定义安全策略，以限制对数据库、表、列、行和单元格级别的数据的访问。这些策略适用于 IAM 用户和角色，也适用于通过外部身份提供商进行联合身份验证时的用户和组。你可以使用精细的控制来访问由 Lake Formation 在 Amazon Redshift Spectrum、Athena、 AWS Glue ETL 和 Apache Spark 的亚马逊 EMR 中保护的数据。每当您创建 IAM 身份时，请确保遵循 IAM 最佳实践。有关更多信息，请参阅《IAM 用户指南》中的安全最佳实践。

混合访问模式

Lake Formation 混合访问模式可以灵活地选择性地为数据目录中的数据库和表启用 Lake Formation 权限。在混合访问模式下，您现在有了增量路径，可您为一组特定的用户设置 Lake Formation 权限，而不会中断其他现有用户或工作负载的权限策略。有关更多信息，请参阅 混合访问模式。

实施审计日志记录

Lake Formation 提供全面的审计日志 CloudTrail ，用于监控访问情况并显示对集中定义策略的合规性。您可以跨分析和机器学习服务审核数据访问历史记录，这些服务通过 Lake Formation 读取数据湖中的数据。这使您可以查看哪些用户或角色尝试访问了哪些数据、使用了哪些服务以及何时访问了数据和使用了服务。您可以像使用 CloudTrail APIs 和控制台访问任何其他 CloudTrail 日志一样访问审核日志。有关 CloudTrail 日志的更多信息，请参阅使用 AWS CloudTrail 记录 AWS Lake Formation API 调用。

行和单元格级别安全功能

Lake Formation 提供了数据筛选条件，允许您限制对列和行组合的访问。使用行和单元格级别安全功能来保护敏感数据，例如个人身份信息 (PII)。有关行级别安全功能的更多信息，请参阅Lake Formation 中的数据筛选和单元格级别安全性。

基于标签的访问控制

使用 Lake Formation 基于标签的访问控制，通过创建称为 LF 标签的自定义标签来管理数百甚至数千个数据权限。您现在可以定义 LF 标签并将其附加到数据库、表或列。然后，跨分析、机器学习 (ML) 和提取、转换、加载 (ETL) 服务共享受控访问权限以供使用。LF 标签通过将数千个资源的策略定义替换为几个逻辑标签，确保可以轻松扩展数据治理。Lake Formation 提供了对这些元数据的基于文本的搜索，因此您的用户可以快速找到他们需要分析的数据。

跨账户访问

Lake Formation 权限管理功能通过集中式方法简化了跨多个 AWS 账户的分布式数据湖的保护和管理，提供了对数据目录和 Amazon S3 位置的精细访问控制。有关更多信息，请参阅 Lake Formation 中的跨账户数据共享。

将您的数据导入数据目录

联合功能允许您创建联合目录并为存储在不同数据源（如 Amazon Redshift）中的数据集设置权限，而无需将数据或元数据迁移到 Amazon S3 或。 AWS Glue Data Catalog您可以使用以下方法在 Lake Formation 中导入数据并管理外部数据集的权限：

有关更多信息，请参阅将您的数据引入 AWS Glue Data Catalog。

Lake Formation 入门

我们建议您首先阅读以下部分：