创建 Vertica 连接 - AWS Glue

创建 Vertica 连接

先决条件：

  • 读取和写入数据库时用于临时存储的 Amazon S3 存储桶或文件夹，也称为 tempS3Path。

    注意

    在 AWS Glue 任务数据预览中使用 Vertica 时，临时文件可能不会自动从 tempS3Path 中删除。为确保删除临时文件，请在数据预览窗格中选择结束会话，以直接结束数据预览会话。

    如果无法保证数据预览会话直接结束，请考虑将 Amazon S3 生命周期配置设置为删除旧数据。我们建议根据最大作业运行时间加一定的裕度移除已存在超过 49 小时的数据。有关配置 Amazon S3 生命周期的更多信息，请参阅 Amazon S3 文档中的 管理存储生命周期。

  • 对您的 Amazon S3 路径具有适当权限，并且您可以将其关联到您的 AWS Glue 作业角色的 IAM policy。

  • 如果您的 Vertica 实例位于某个 Amazon VPC 中，请确保您的 Amazon VPC 配置允许您的 AWS Glue 作业与 Vertica 实例进行通信，并且无需通过公共互联网路由流量。

    在 Amazon VPC 中，确定或创建 AWS Glue 将在执行作业时使用的 VPC、子网和安全组。此外，您的 Amazon VPC 配置需要允许您的 Vertica 实例与该位置之间的网络流量。您的作业需要与您的 Vertica 客户端端口（默认为 5433）建立 TCP 连接。根据您的网络布局，这可能需要更改安全组规则、网络 ACL、NAT 网关和对等连接。

配置 Vertica 连接：

  1. 在 AWS Secrets Manager 中，使用您的 Vertica 凭证 verticaUsername 和 verticaPassword 创建一个密钥。要在 Secrets Manager 中创建密钥，请按照 AWS Secrets Manager 文档中创建 AWS Secrets Manager 密钥中的教程进行操作。创建密钥后，保留密钥名称 secretName，以供下一步使用。

    • 在选择键/值对时，请使用键 user 和值 verticaUsername 创建一个键值对。

    • 在选择键/值对时，请使用键 password 和值 verticaPassword 创建一个键值对。

  2. 在 AWS Glue 控制台中，按照 添加 AWS Glue 连接 中的步骤创建一个连接。创建连接后，保留连接名称 connectionName，以供下一步使用。

    • 选择连接类型时，请选择 Vertica。

    • 选择 Vertica 主机时，请提供您安装了 Vertica 的主机名。

    • 选择 Vertica 端口时，请提供可用于访问 Vertica 安装的端口。

    • 选择 AWS 密钥时，请提供 secretName。

  3. 对于下列情况，您可能需要添加额外的配置：

    • 对于通过 Amazon VPC 在 AWS 云端托管的 Vertica 实例

      • 向 AWS Glue 连接提供用于定义 Vertica 安全凭证的 Amazon VPC 连接信息。创建或更新连接时，请在网络选项中设置 VPC、子网和安全组。

您需要首先完成以下步骤，然后才能运行 AWS Glue 作业：

  • 向与您的 AWS Glue 作业关联的 IAM 角色授予对 tempS3Path 的权限。

  • 向与您的 AWS Glue 作业关联的 IAM 角色授予读取 secretName 的权限。