关于在 Amazon MWAA 上联网 - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

关于在 Amazon MWAA 上联网

Amazon VPC 是链接到 AWS 账户的虚拟网络。它通过提供对虚拟基础设施和网络流量分段的精细控制,为您提供云安全性和动态扩展的能力。本页介绍支持 Amazon MWAA 环境所需的具有公有路由私有路由的 Amazon VPC 基础设施。

术语

公有路由

可以访问互联网的 Amazon VPC 网络。

私有路由

无法访问互联网的 Amazon VPC 网络。

支持什么?

下表描述 Amazon MWAA 支持的 Amazon VPC 类型。

Amazon VPC 类型 支持

Amazon VPC 属于尝试创建环境的账户。

共享的 Amazon VPC,多个 AWS 账户可以在其中创建自己的 AWS 资源。

VPC 基础设施概述

当您创建 Amazon MWAA 环境时,Amazon MWAA 会根据您为环境选择的 Apache Airflow 访问模式为环境创建一到两个 VPC 端点。这些端点显示为弹性网络接口(ENI),私有 IP 位于 Amazon VPC 中。创建这些端点后,任何发往这些 IP 的流量都将私密或公共地路由到环境使用的相应 AWS 服务。

下一节介绍通过互联网公共地路由流量或在 Amazon VPC 内私密地路由流量所需的 Amazon VPC 基础设施。

通过互联网进行公共路由

本节介绍具有公有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个公有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个公有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须路由到具有弹性 IP 地址(EIP)的 NAT 网关(或 NAT 实例)。

    • 子网必须具有将互联网绑定流量定向到互联网网关的路由表。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 NAT 设备(网关或实例)的路由表。

    • 这些子网不得通向互联网网关的路由。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则 (0.0.0.0/0)。

    • NACL 必须包含一条允许所有流量 (0.0.0.0/0) 的出站规则。

    • 例如,(推荐)示例 ACLs

  • 两个 NAT 网关(或 NAT 实例)。NAT 设备将来自私有子网中实例的流量转发到互联网或其他 AWS 服务,然后将响应发回给实例。

    • NAT 设备必须连接公有子网。(每个公有子网一个 NAT 设备。)

    • NAT 设备必须将弹性 IPv4 地址(EIP)附加到每个公有子网。

  • 互联网网关。互联网网关将 Amazon VPC 连接到互联网和其他 AWS 服务。

    • 互联网网关必须连接到 Amazon VPC。

无法访问互联网的私有路由

本节介绍具有私有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 VPC 端点的路由表。

    • 这些子网不得有通往 NAT 设备(网关或实例)的路由表,也不能有互联网网关。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则 (0.0.0.0/0)。

    • NACL 必须有拒绝所有流量的出站规则 (0.0.0.0/0)。

    • 例如,(推荐)示例 ACLs

  • 本地路由表。本地路由表是指用于 VPC 内通信的默认路由。

    • 本地路由表必须与私有子网关联。

    • 本地路由表必须启用 VPC 中的实例与您自己的网络进行通信。例如,如果您使用 AWS Client VPN 访问 Apache Airflow Web 服务器的 VPC 接口端点,则路由表必须路由到 VPC 端点。

  • 环境使用的每项 AWS 服务的 VPC 端点,以及与 Amazon MWAA 环境位于同一 AWS 区域和同一 Amazon VPC 的 Apache Airflow VPC 端点。

Amazon VPC 和 Apache Airflow 访问模式的示例用例

本节介绍 Amazon VPC 中网络访问的不同用例,以及您应在 Amazon MWAA 控制台上选择的 Apache Airflow Web 服务器访问模式。

允许访问互联网-新的 Amazon VPC 网络

如果贵组织允许在 VPC 中访问互联网,并且您希望用户通过互联网访问 Apache Airflow Web 服务器,请执行以下操作:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 为 Apache Airflow Web 服务器创建具有公有网络访问模式的环境。

  3. 我们的建议:我们建议使用 AWS CloudFormation 快速入门模板来同时创建 Amazon VPC 基础设施、Amazon S3 存储桶和 Amazon MWAA 环境。要了解更多信息,请参阅 Amazon MWAA 的快速入门教程

如果贵组织允许在 VPC 中访问互联网,并且您希望在 VPC 内限制访问 Apache Airflow Web 服务器的用户,请执行以下操作:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  3. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  4. 我们的建议

    1. 我们建议使用 Amazon MWAA 控制台,请参阅 选项一:在 Amazon MWAA 控制台上创建 VPC 网络;或 AWS CloudFormation 模板,请参阅 选项二:创建可访问互联网的 Amazon VPC 网络

    2. 我们在 教程:使用 AWS Client VPN 配置私有网络访问权限 中建议使用 AWS Client VPN 配置对 Apache Airflow Web 服务器的访问权限。

不允许访问互联网-新的 Amazon VPC 网络

如果贵组织不允许在 VPC 中访问互联网:

  1. 创建没有互联网访问权限的 Amazon VPC 网络。

  2. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  3. 为环境使用的每项 AWS 服务创建 VPC 端点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议使用 AWS CloudFormation 模板创建无法访问互联网的 Amazon VPC,并为 Amazon MWAA 在 选项三:创建不可互联网访问的 Amazon VPC 网络 中使用的每项 AWS 服务创建 VPC 端点。

    2. 我们在 教程:使用 AWS Client VPN 配置私有网络访问权限 中建议使用 AWS Client VPN 配置对 Apache Airflow Web 服务器的访问权限。

不允许访问互联网-现有 Amazon VPC 网络

如果贵组织不允许在 VPC 中访问互联网,并且您已经拥有所需的无法访问互联网的 Amazon VPC 网络:

  1. 为环境使用的每项 AWS 服务创建 VPC 端点。

  2. 为 Apache Airflow 创建 VPC 端点。

  3. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议创建并附加 Amazon MWAA 使用的每项 AWS 服务所需的 VPC 端点,以及 Apache Airflow 中所需的 VPC 端点,请参阅 使用私有路由在 Amazon VPC 中创建所需的 VPC 服务端点

    2. 我们在 教程:使用 AWS Client VPN 配置私有网络访问权限 中建议使用 AWS Client VPN 配置对 Apache Airflow Web 服务器的访问权限。