本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Apache Airflow 访问模式
Amazon MWAA 控制台包含内置选项,用于在环境中配置到 Apache Airflow Web 服务器的私有或公有路由。本指南介绍了适用于Apache Airflow的亚马逊托管工作流程环境中Apache Airflow Web服务器可用的访问模式,以及VPC如果您选择专用网络选项,则需要在亚马逊中配置的其他资源。
目录
Apache Airflow 访问模式
您可以为 Apache Airflow Web 服务器选择私有或公有路由。要启用私有路由,请选择私有网络。这将用户访问 Apache Airflow Web 服务器的权限限制在亚马逊内部。VPC要启用公有路由,请选择公有网络。这允许用户通过互联网访问 Apache Airflow Web 服务器。
公有网络
以下架构图显示了带有公共 Web 服务器的 Amazon MWAA 环境。
公共网络访问模式允许被授予您环境IAM策略访问权限的用户通过互联网访问 Apache Airflow 用户界面。
下图显示了在 Amazon MWAA 控制台上哪里可以找到 “公共网络” 选项。
私有网络
以下架构图显示了带有私有 Web 服务器的 Amazon MWAA 环境。
私有网络访问模式将访问 Apache Airflow UI 的权限限制为亚马逊内VPC已被授权访问您环境的IAM策略的用户。
创建具有私有 Web 服务器访问权限的环境时,必须将所有依赖项打包到 Python Wheel 档案 (.whl
) 中,然后在 requirements.txt
中引用 .whl
。有关使用 Wheel 打包和安装依赖项的说明,请参阅使用 Python wheel 管理依赖项。
下图显示了在 Amazon MWAA 控制台上哪里可以找到 “专用网络” 选项。
访问模式概述
本节介绍当您选择公共网络或私有网络访问模式VPC时在您的 Amazon 中创建的VPC终端节点 (AWS PrivateLink)。
公有网络访问模式
如果您为 Apache Airflow Web 服务器选择了公有网络访问模式,则网络流量将通过互联网公开路由。
-
亚马逊为您的亚马逊 Aurora Postgre SQL 元数据数据库MWAA创建VPC接口终端节点。终端节点是在映射到您的私有子网的可用区中创建的,并且独立于其他 AWS 账户。
-
MWAA然后,Amazon 会将您的私有子网中的 IP 地址绑定到接口终端节点。这旨在支持从亚马逊的每个可用区绑定单个 IP 的最佳实践VPC。
私有网络访问模式
如果您为 Apache Airflow Web 服务器选择了专用网络访问模式,则网络流量将在您的亚马逊内部私密路由。VPC
-
亚马逊MWAA为您的 Apache Airflow Web 服务器创建一个VPC接口终端节点,并为您的亚马逊 Aurora Postgr SQL e 元数据数据库创建一个接口终端节点。终端节点是在映射到您的私有子网的可用区中创建的,并且独立于其他 AWS 账户。
-
MWAA然后,Amazon 会将您的私有子网中的 IP 地址绑定到接口终端节点。这旨在支持从亚马逊的每个可用区绑定单个 IP 的最佳实践VPC。
要了解更多信息,请参阅 Amazon VPC 和 Apache Airflow 访问模式的示例用例。
私有和公有访问模式的设置
下一节根据您为环境选择的 Apache Airflow 访问模式,介绍了您需要的其他设置和配置。
公有网络设置
如果您为 Apache Airflow Web 服务器选择公有网络选项,则可以在创建环境后开始使用 Apache Airflow UI。
您需要采取以下步骤来配置用户的访问权限,以及您的环境使用其他 AWS 服务的权限。
-
添加权限。Amazon MWAA 需要获得许可才能使用其他 AWS 服务。当您创建环境时,亚马逊MWAA会创建一个服务相关角色,允许其对亚马逊弹性容器注册表 (AmazonECR)、 CloudWatch 日志和亚马逊EC2使用某些IAM操作。
您可以添加对这些服务使用其他操作的权限,也可以通过向执行角色添加权限来添加使用其他 AWS 服务的权限。要了解更多信息,请参阅 亚马逊MWAA执行角色。
-
创建用户策略。您可能需要为用户创建多个IAM策略来配置对您的环境和 Apache Airflow UI 的访问权限。要了解更多信息,请参阅 访问亚马逊MWAA环境。
私有网络的设置
如果您为 Apache Airflow Web 服务器选择专用网络选项,则需要为用户配置访问权限、您的环境使用其他 AWS 服务的权限,并创建VPC从计算机访问亚马逊资源的机制。
-
添加权限。Amazon MWAA 需要获得许可才能使用其他 AWS 服务。当您创建环境时,亚马逊MWAA会创建一个服务相关角色,允许其对亚马逊弹性容器注册表 (AmazonECR)、 CloudWatch 日志和亚马逊EC2使用某些IAM操作。
您可以添加对这些服务使用其他操作的权限,也可以通过向执行角色添加权限来添加使用其他 AWS 服务的权限。要了解更多信息,请参阅 亚马逊MWAA执行角色。
-
创建用户策略。您可能需要为用户创建多个IAM策略来配置对您的环境和 Apache Airflow UI 的访问权限。要了解更多信息,请参阅 访问亚马逊MWAA环境。
-
启用网络访问。你需要在亚马逊中创建一个机制VPC来连接你的 Apache Airflow Web 服务器的VPC终端节点 (AWS PrivateLink)。例如,通过使用从您的计算机创建VPN隧道 AWS Client VPN。
访问 Apache Airflow Web 服务器的VPC终端节点(访问私有网络)
如果您选择了 “专用网络” 选项,则需要在亚马逊中创建一个机制VPC来访问您的 Apache Airflow Web 服务器的VPC终端节点 (AWS PrivateLink)。对于这些资源VPC,我们建议使用与您的 Amazon MWAA 环境相同的 Amazon、VPC安全组和私有子网。
要了解更多信息,请参阅管理VPC终端节点的访问权限。