开始使用 Amazon MWAA - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Amazon MWAA

适用于 Apache Airflow 的亚马逊托管工作流程使用 Amazon S3 存储桶中的亚马逊VPC、DAG代码和支持文件来创建环境。本章介绍开始使用 Amazon 所需的先决条件和 AWS 资源MWAA。

先决条件

要创建 Amazon MWAA 环境,您可能需要采取其他措施来确保您有权访问需要创建的 AWS 资源。

  • AWS 账户 — 有权使用 Amazon MWAA 以及您的环境所使用的 AWS 服务和资源的 AWS 账户。

关于本指南

本节介绍您将在本指南中创建 AWS 的基础架构和资源。

  • 亚马逊 VPC — 亚马逊MWAA环境所需的亚马逊VPC网络组件。您可以配置满足VPC这些要求(高级)的现有组件(如中所示)关于在 Amazon MWAA 上联网,也可以按照中的定义创建VPC和网络组件创建 VPC 网络

  • Amazon S3 存储桶 — 用于存储您的文件DAGs和相关文件(例如plugins.zip和)的 Amazon S3 存储桶requirements.txt。Amazon S3 存储桶必须配置为阻止所有公开访问,并启用存储桶版本控制,如 为 Amazon MWAA 创建 Amazon S3 存储桶。 中所定义。

  • Amazon MWAA 环境 — 一种配置了您的 Amazon S3 存储桶的位置、DAG代码和任何自定义插件或 Python 依赖项的路径以及您的亚马逊VPC及其安全组的亚马逊MWAA环境,如中所定义创建亚马逊MWAA环境

开始前的准备工作

要创建 Amazon MWAA 环境,您可能需要在创建环境之前采取其他步骤来创建和配置其他 AWS 资源。

要创建环境,您需要具备以下条件:

  • AWS KMS key — 用于在您的环境中进行数据加密的密 AWS KMS 钥。您可以在 Amazon MWAA 控制台上选择默认选项以在创建环境时创建AWS 自有密钥,也可以指定现有客户托管密钥,该密钥具有访问您的环境所使用的其他 AWS 服务的权限(高级)。要了解更多信息,请参阅 使用由客户托管的密钥进行加密

  • 执行角色 — 允许 Amazon MWAA 访问您环境中的 AWS 资源的执行角色。创建环境时,您可以在 Amazon MWAA 控制台上选择默认选项来创建执行角色。要了解更多信息,请参阅 亚马逊MWAA执行角色

  • VPC安全组 — 允许 Amazon MWAA 访问您VPC网络中的其他 AWS 资源VPC的安全组。您可以在创建环境时选择 Amazon MWAA 控制台上的默认选项来创建安全组,或者为安全组提供相应的入站和出站规则(高级)。要了解更多信息,请参阅 您在 Amazon VPC 上的安全 MWAA

可用区

MWAAAmazon 在以下 AWS 地区可用。

  • 欧洲(斯德哥尔摩)– eu-north-1

  • 欧洲(法兰克福)– eu-central-1

  • 欧洲(爱尔兰)– eu-west-1

  • 欧洲(伦敦)– eu-west-2

  • 欧洲(巴黎)– eu-west-3

  • 亚太地区(孟买)– ap-south-1

  • 亚太地区(新加坡)– ap-southeast-1

  • 亚太地区(悉尼)- ap-southeast-2

  • 亚太地区(东京)- ap-northeast-1

  • 亚太地区(首尔)– ap-northeast-2

  • 美国东部(弗吉尼亚北部)- us-east-1

  • 美国东部(俄亥俄)- us-east-2

  • 美国西部(俄勒冈)- us-west-2

  • 加拿大(中部)– ca-central-1

  • 南美洲(圣保罗)– sa-east-1

接下来做什么?