从 Lake Formati JDBC on 中的来源创建数据湖

1. 从 IAM 打开 https://console.aws.amazon.com/iam 控制台。以您在中创建的管理员用户创建具有管理访问权限的用户或使用AdministratorAccess AWS 托管策略的用户身份登录。

2. 使用以下设置创建名为 datalake_user 的用户：

   • 启用 AWS Management Console 访问权限。

   • 设置密码，不需要重置密码。

   • 附加AmazonAthenaFullAccess AWS 托管策略。

   • 附加下面的内联策略。将该策略命名为 DatalakeUserBasic。

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

创建连接

1. 在 https://console.aws.amazon.com/glue/ 中打开 AWS Glue 控制台，并以您在创建具有管理访问权限的用户中创建的管理员用户身份登录。

2. 在导航窗格的 Data catalog (数据目录) 下，选择 Connections (连接)。

3. 在 Connectors (连接器) 页面上，选择 Create custom connector (创建自定义连接器)。

4. 在连接器属性页面上，输入datalake-tutorial作为连接名称，然后选择JDBC作为连接类型。然后选择下一步。

5. 继续运行连接向导并保存连接。

   有关创建连接的信息，请参阅《AWS Glue 开发人员指南》中的AWS Glue JDBC连接属性。

1. 打开 Amazon S3 控制台，https://console.aws.amazon.com/s3/并以您在中创建的管理员用户身份登录创建具有管理访问权限的用户。

2. 选择创建存储桶，然后通过向导创建名为的存储桶<yourName>-datalake-tutorial，其中 <yourName> 是您的名字首字母和姓氏。例如：jdoe-datalake-tutorial。

   有关创建 Amazon S3 存储桶的详细说明，请参阅《Amazon Simple Storage Service 用户指南》中的如何创建 S3 存储桶？。

1. 打开 Lake Formation 控制台，网址为https://console.aws.amazon.com/lakeformation/。以数据湖管理员身份登录。

2. 在导航窗格的管理下，选择数据湖位置。

3. 选择注册位置，然后选择浏览。

4. 选择您之前创建的<yourName>-datalake-tutorial存储桶，接受默认IAM角色AWSServiceRoleForLakeFormationDataAccess，然后选择注册位置。

   有关注册位置的更多信息，请参阅向数据湖添加 Amazon S3 位置。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据位置。

2. 选择授权，然后在授予权限对话框中执行以下操作：

   1. 对于IAM用户和角色，选择LakeFormationWorkflowRole。

   2. 对于存储位置，选择您的 <yourName>-datalake-tutorial 存储桶。

3. 选择授权。

1. 在 Lake Formation 控制台的导航窗格中，在数据目录下选择数据库。

2. 选择创建数据库，然后在数据库详细信息下输入名称 lakeformation_tutorial。

3. 将其他字段留空，然后选择创建数据库。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据湖权限。

2. 选择授权，然后在授予数据权限对话框中执行以下操作：

   1. 在 “委托人” 下，针对IAM用户和角色，选择LakeFormationWorkflowRole。

   2. 在 LF 标签或目录资源下，选择命名数据目录资源。

   3. 对于数据库，请选择您之前创建的数据库 lakeformation_tutorial。

   4. 在数据库权限下，选择创建表、更改和删除，如果已选中超级，请将其清除。

3. 选择授权。

1. 在 Lake Formation 控制台的导航窗格中，选择蓝图，然后选择使用蓝图。

2. 在使用蓝图页面的蓝图类型下，选择数据库快照。

3. 在导入源下的数据库连接中，选择您刚刚创建的连接 datalake-tutorial，或者为您的数据来源选择一个现有连接。

4. 对于源数据路径，以 <database>/<schema>/<table> 形式输入从中摄取数据的路径。

   您可以用百分比 (%) 字符替换架构或表。对于支持架构的数据库，请输入 <database>/<schema>/% 匹配中的所有表 <schema> 之内 <database>。 Oracle Database 和 My SQL 不支持路径中的架构；而是输入 <database>/%。 对于 Oracle 数据库，<database> 是系统标识符 (SID)。

   例如，如果 Oracle 数据库有 orclSID，则输入orcl/%匹配JDCB连接中指定的用户有权访问的所有表。

   重要

   此字段区分大小写。

5. 在导入目标下，指定以下参数：

   目标数据库	lakeformation_tutorial
   目标存储位置	s3://<yourName>-datalake-tutorial
   Data format（数据格式）	（选择实木复合地板或CSV）

6. 对于导入频率，选择按需运行。

7. 在导入选项下，指定以下参数：

   工作流名称	lakeformationjdbctest
   IAM角色	LakeFormationWorkflowRole
   表前缀	jdbctest 注意 必须小写。

8. 选择创建，然后等待控制台报告已成功创建工作流。

   提示

   您是否收到了以下错误消息？

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   如果是，请检查是否已更换 <account-id> 在具有有效 AWS 账号的数据湖管理员用户的内联策略中。

1. 在 Lake Formation 控制台的蓝图页面上，选择工作流 lakeformationjdbctest。

2. 选择操作，然后选择启动。

3. 当工作流运行时，您可以在上次运行状态列中查看其进度。时不时地选择刷新按钮。

   状态从RUNNING、到 “正在发现”、“正在导入” 和 “正在导入”，再到COMPLETED。

   工作流完成后：

   • 数据目录中将含有新的元数据表。

   • 您的数据已被摄取到数据湖中。

   如果工作流失败，请执行以下操作：

   1. 选择工作流。选择操作，然后选择查看图表。

      该工作流将在 AWS Glue 控制台中打开。

   2. 选择该工作流，然后选择历史记录选项卡。

   3. 选择最近的运行，然后选择查看运行详细信息。

   4. 在动态（运行时）图表中选择失败的作业或爬网程序，然后查看错误消息。失败的节点为红色或黄色。

1. 在 Lake Formation 控制台的导航窗格中，在权限下选择数据湖权限。

2. 选择授权，然后在授予数据权限对话框中执行以下操作：

   1. 在 “委托人” 下，针对IAM用户和角色，选择datalake_user。

   2. 在 LF 标签或目录资源下，选择命名数据目录资源。

   3. 对于数据库，选择 lakeformation_tutorial。

      表列表即会填充。

   4. 对于表，从数据来源中选择一个或多个表。

   5. 在表和列权限 下，选择选择。

3. 选择授权。

1. 打开 Athena 控制台，并https://console.aws.amazon.com/athena/以数据分析师用户身份登录。datalake_user

2. 如有必要，请选择开始使用以继续使用 Athena 查询编辑器。

3. 对于 Data source (数据源)，选择 AwsDataCatalog。

4. 对于 Database (数据库)，请选择 lakeformation_tutorial。

   表列表即会填充。

5. 在其中一个表旁边的弹出菜单中，选择预览表。

   查询即会运行并显示 10 行数据。

设置运行 Amazon Redshift 查询的权限

1. 打开IAM控制台，网址为https://console.aws.amazon.com/iam/。以您在中创建的管理员用户创建具有管理访问权限的用户（用户名Administrator）或使用AdministratorAccess AWS 托管策略的用户身份登录。

2. 在导航窗格中，选择策略。

   如果这是您首次选择 Policies，则会显示 Welcome to Managed Policies 页面。选择开始使用。

3. 选择创建策略。

4. 选择JSON选项卡。

5. 粘贴到以下JSON政策文件中。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"                
              ],
               "Resource": "*"
           }
       ]
   }

6. 完成后，选择审核对策略进行审核。策略验证程序将报告任何语法错误。

7. 在查看策略页面上，输入 RedshiftLakeFormationPolicy 作为您要创建的策略的名称。输入描述（可选）。查看策略摘要以查看您的策略授予的权限。然后，选择创建策略以保存您的工作。

8. 在IAM控制台的导航窗格中，选择角色，然后选择创建角色。

9. 对于选择可信实体，选择 AWS 服务。

10. 选择 Amazon Redshift 服务来代入此角色。

11. 为您的服务选择 Redshift Customizable (Redshift 可自定义)。然后选择 Next: Permissions (下一步：权限)。

12. 搜索刚创建的策略 RedshiftLakeFormationPolicy，然后在列表中选中该策略名称旁边的复选框。

13. 选择下一步：标签。

14. 选择下一步：审核。

15. 对于角色名称，输入名称 RedshiftLakeFormationRole。

16. （可选）对于 Role description (角色描述)，输入新角色的描述。

17. 检查该角色，然后选择创建角色。

授予对 Lake Formation 数据库中要查询的表的 Select 权限

1. 打开 Lake Formation 控制台，网址为https://console.aws.amazon.com/lakeformation/。以数据湖管理员身份登录。

2. 在导航窗格的权限下，选择数据湖权限，然后选择授权。

3. 提供以下信息：

   • 对于IAM用户和角色，请选择您创建的IAM角色RedshiftLakeFormationRole。当您运行 Amazon Redshift 查询编辑器时，它会使用此IAM角色来获得对数据的权限。

   • 对于 Database (数据库)，请选择 lakeformation_tutorial。

     表列表即会填充。

   • 对于表，选择数据来源中要查询的表。

   • 选择选择表权限。

4. 选择授权。

设置 Amazon Redshift Spectrum 并运行查询

1. 通过以下网址打开 Amazon Redshift 控制台：https://console.aws.amazon.com/redshift。以用户 Administrator 的身份登录。

2. 选择创建集群。

3. 在创建集群页面上，输入 redshift-lakeformation-demo 作为集群标识符。

4. 对于节点类型，选择 dc2.large。

5. 向下滚动，在数据库配置下输入或接受以下参数：

   • 管理用户名称：awsuser

   • 管理用户密码：(Choose a password)

6. 展开集群权限，对于可用IAM角色，选择RedshiftLakeFormationRole。然后选择添加IAM角色。

7. 如果您必须使用的端口与默认值 5439 不同，请关闭其他配置旁边的使用默认值选项。展开数据库配置部分，然后输入新的数据库端口号。

8. 选择创建集群。

   集群页面即会加载。

9. 等待到集群状态变为可用。定期选择刷新图标。

10. 向数据分析师授予对集群运行查询的权限。为此，请完成以下步骤。

    1. 在打开IAM控制台 https://console.aws.amazon.com/iam/，然后以Administrator用户身份登录。

    2. 在导航窗格中，选择用户，然后选择将以下托管策略附加到用户 datalake_user。

       • AmazonRedshiftQueryEditor

       • AmazonRedshiftReadOnlyAccess

11. 退出 Amazon Redshift 控制台，然后以用户 datalake_user 身份重新登录。

12. 在左侧垂直工具栏中，选择EDITOR图标以打开查询编辑器并连接到集群。如果连接到数据库对话框出现，请选择集群名称 redshift-lakeformation-demo，然后输入数据库名称 dev、用户名 awsuser 和您创建的密码。然后，选择 Connect to database (连接到数据库)。

    注意

    如果系统没有提示您输入连接参数，并且已经在查询编辑器中选择了另一个集群，请选择更改连接打开连接到数据库对话框。

13. 在新查询 1 文本框中，输入并运行以下语句以将 Lake Formation 中的数据库 lakeformation_tutorial 映射到 Amazon Redshift 架构名称 redshift_jdbc：

    重要

    Replace（替换） <account-id> 使用有效的 AWS 账号，以及 <region> 使用有效的 AWS 区域名称（例如us-east-1）。

    create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::<account-id>:role/RedshiftLakeFormationRole' region '<region>';

14. 在选择架构下的架构列表中，选择 redshift_jdbc。

    表列表即会填充。查询编辑器仅显示您被授予了对其的 Lake Formation 数据湖权限的表。

15. 在表名称旁边的弹出菜单中，选择预览数据。

    Amazon Redshift 将返回前 10 行。

    现在，您可对您对其拥有权限的表和列运行查询。