本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
要在适用于 Apache Airflow 的亚马逊托管工作流程环境中运行定向无环图 (DAGs),请将文件复制到与环境关联的 Amazon S3 存储桶中,然后让 Amazon MWAA 知道您的文件 DAGs 和支持文件在亚马逊 MWAA 控制台上的位置。Amazon MWAA 负责 DAGs 在工作程序、计划程序和 Web 服务器之间进行同步。本指南介绍如何在 Amazon MWAA 环境中添加或更新您的自定义插件和 Python 依赖项 DAGs,以及如何安装自定义插件和 Python 依赖项。
Amazon S3 存储桶概述
适用于 Amazon MWAA 环境的 Amazon S3 存储桶必须已阻止公共访问权限。默认情况下,所有 Amazon S3 资源都是私有的,包括桶、对象和相关子资源(例如,生命周期配置)。
-
只有资源所有者,即创建存储桶的 AWS 账户,才能访问该资源。资源拥有者(例如管理员)可以写入访问控制策略来授予他人访问权限。
-
您设置的访问策略必须具有向您的 Amazon S3 存储桶中
plugins.zip
添加 DAGs自定义插件和 Python 依赖项的权限。requirements.txt
有关包含所需权限的策略示例,请参阅 Amazon MWAAFull ConsoleAccess。
Amazon MWAA 环境的 Amazon S3 存储桶必须启用版本控制。启用 Amazon S3 存储桶版本控制后,每当创建新版本时,都会创建一个新副本。
-
在 Amazon S3 存储桶上,为
plugins.zip
中的自定义插件和requirements.txt
中的 Python 依赖项启用了版本控制。 -
每次在 Amazon S3 存储桶上更新文件时,都必须在 Amazon MWAA 控制台上指定
plugins.zip
和requirements.txt
的版本。