关于在 Amazon 上建立人际关系 MWAA - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

关于在 Amazon 上建立人际关系 MWAA

Amazon VPC 是一个与您的 AWS 账户关联的虚拟网络。它通过提供对虚拟基础设施和网络流量分段的精细控制,为您提供云安全性和动态扩展的能力。本页介绍了支持适用于 Apache Airflow 的 Amazon 托管工作流环境所需的具有公共路由或私有路由的亚马逊VPC基础设施。

术语

公有路由

可以访问互联网的 Amazon VPC 网络。

私有路由

无法访问互联网的 Amazon VPC 网络。

支持什么?

下表描述了亚马逊MWAA支持的VPCs亚马逊类型。

亚马逊VPC类型 支持

尝试创建环境的账户所VPC拥有的 Amazon。

一个共享的 Amazon,多个 AWS 账户VPC可以在其中创建自己的 AWS 资源。

VPC基础架构概述

当您创建亚马逊MWAA环境时,亚马逊MWAA会根据您为环境选择的 Apache Airflow 访问模式,为您的环境创建一到两个VPC终端节点。这些终端节点IPs在您的 Amazon 中以弹性网络接口 (ENIs) 的形式出现,并带有私有VPC功能。创建这些终端节点后,任何发往这些IPs终端节点的流量都将私下或公开路由到您的环境使用的相应 AWS 服务。

以下部分介绍通过互联网公开路由流量或在您的亚马逊内部私下路由流量所需的亚马逊VPC基础设施VPC。

通过互联网进行公共路由

本节介绍具有公共路由的环境的 Amazon VPC 基础架构。你需要以下VPC基础架构:

  • 一个VPC安全组。VPC安全组充当虚拟防火墙,用于控制实例的入口(入站)和出口(出站)网络流量。

  • 两个公有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个公有子网。这样MWAA,如果一个容器出现故障,Amazon 就可以在您的另一个可用区中为您的环境构建新的容器映像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须路由到具有弹性 IP 地址 () 的NAT网关(或NAT实例EIP)。

    • 子网必须具有将互联网绑定流量定向到互联网网关的路由表。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样MWAA,如果一个容器出现故障,Amazon 就可以在您的另一个可用区中为您的环境构建新的容器映像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须有通往NAT设备(网关或实例)的路由表。

    • 这些子网不得通向互联网网关的路由。

  • 网络访问控制列表 (ACL)。在子网级别NACL管理(通过允许或拒绝规则)入站和出站流量。

    • NACL必须有允许所有流量的入站规则 (0.0.0.0/0)。

    • NACL必须有允许所有流量的出站规则 (0.0.0.0/0)。

    • 例如,(推荐)示例 ACLs

  • 两个NAT网关(或NAT实例)。NAT设备将流量从私有子网中的实例转发到 Internet 或其他 AWS 服务,然后将响应路由回实例。

    • NAT设备必须连接到公有子网。(每个公有子网一NAT台设备。)

    • NAT设备必须将弹性IPv4地址 (EIP) 连接到每个公有子网。

  • 互联网网关。互联网网关将 Amazon VPC 连接到互联网和其他 AWS 服务。

    • 必须将互联网网关连接到 Amazon VPC。

无法访问互联网的私有路由

本节介绍使用私有路由的环境的 Amazon VPC 基础架构。你需要以下VPC基础架构:

  • 一个VPC安全组。VPC安全组充当虚拟防火墙,用于控制实例的入口(入站)和出口(出站)网络流量。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样MWAA,如果一个容器出现故障,Amazon 就可以在您的另一个可用区中为您的环境构建新的容器映像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须有通往您的VPC终端节点的路由表。

    • 子网不得有通往NAT设备(网关或实例)的路由表,也不能有 Internet 网关。

  • 网络访问控制列表 (ACL)。在子网级别NACL管理(通过允许或拒绝规则)入站和出站流量。

    • NACL必须有允许所有流量的入站规则 (0.0.0.0/0)。

    • NACL必须有拒绝所有流量的出站规则 (0.0.0.0/0)。

    • 例如,(推荐)示例 ACLs

  • 本地路由表。本地路由表是内部通信的默认路由VPC。

    • 本地路由表必须与私有子网关联。

    • 本地路由表必须允许您的VPC实例与您自己的网络通信。例如,如果您使用访问您的 Apache Airflow Web 服务器的VPC接口终端节点,则路由表必须路由到该VPC终端节点。 AWS Client VPN

  • VPC您的环境使用的每项 AWS 服务的@@ 终端节点,以及与您的亚马逊环境位于同一 AWS 地区和亚马逊VPC的 Apache Airflow VPC 终端节点。MWAA

Amazon VPC 和 Apache Airflow 访问模式的示例用例

本节介绍亚马逊网络访问的不同用例,VPC以及您应在亚马逊控制台上选择的 Apache Airflow Web 服务器访问模式。MWAA

允许上网-新的亚马逊VPC网络

如果您的VPC组织允许您访问互联网,并且您希望用户通过互联网访问您的 Apache Airflow Web 服务器,请执行以下操作:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 为 Apache Airflow Web 服务器创建具有公有网络访问模式的环境。

  3. 我们的建议:我们建议使用 AWS CloudFormation 快速入门模板来同时创建 Amazon VPC 基础设施、Amazon S3 存储桶和亚马逊MWAA环境。要了解更多信息,请参阅 Amazon MWAA 的快速入门教程

如果您的VPC组织允许您访问互联网,并且您想限制 Apache Airflow Web 服务器只能访问您内部的用户:VPC

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 创建一种机制,用于从您的计算机访问 Apache Airflow Web 服务器的VPC接口端点。

  3. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  4. 我们的建议

    1. 我们建议使用中的 选项一:在 Amazon MWAA 控制台上创建VPC网络 Amazon MWAA 控制台或中的 AWS CloudFormation 模板选项二:创建可访问互联网的 Amazon VPC 网络

    2. 我们建议在中使用配置 AWS Client VPN 对您的 Apache Airflow Web 服务器的访问权限。教程:使用 AWS Client VPN 配置私有网络访问权限

不允许访问互联网-新的亚马逊VPC网络

如果您的组织VPC不允许您访问互联网:

  1. 创建没有互联网访问权限的 Amazon VPC 网络。

  2. 创建一种机制,用于从您的计算机访问 Apache Airflow Web 服务器的VPC接口端点。

  3. 为环境使用的每项 AWS 服务创建VPC终端节点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议使用该 AWS CloudFormation 模板创建VPC没有互联网访问权限的 Amazon,并为亚马逊MWAA在中使用的每项 AWS 服务创建VPC终端节点选项三:创建没有互联网访问权限的 Amazon VPC 网络

    2. 我们建议在中使用配置 AWS Client VPN 对您的 Apache Airflow Web 服务器的访问权限。教程:使用 AWS Client VPN 配置私有网络访问权限

不允许访问互联网-现有的 Amazon VPC 网络

如果您的组织VPC不允许您访问互联网,并且您已经拥有所需的亚马逊VPC网络且无法访问互联网,请执行以下操作:

  1. 为环境使用的每项 AWS 服务创建VPC终端节点。

  2. 为 Apache Airflow 创建VPC端点。

  3. 创建一种机制,用于从您的计算机访问 Apache Airflow Web 服务器的VPC接口端点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议创建并连接亚马逊使用的每项 AWS 服务所需的VPC终端节点MWAA,以及 Apache Airflow 所需的VPC终端节点。使用私有路由在 Amazon VPC 中创建所需的VPC服务终端节点

    2. 我们建议在中使用配置 AWS Client VPN 对您的 Apache Airflow Web 服务器的访问权限。教程:使用 AWS Client VPN 配置私有网络访问权限