本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 requirements.txt 中管理 Python 依赖项
本页介绍了在 requirements.txt
文件中为 Amazon MWAA 环境安装和管理 Python 依赖项我们推荐的最佳实践。
目录
DAGs使用 Amazon MWAA CLI 实用工具进行测试
-
命令行界面 (CLI) 实用程序在本地复制适用于 Apache Airflow 的亚马逊托管工作流程。
-
在本地CLI构建 Docker 容器镜像,类似于亚马逊MWAA生产镜像。这允许您在部署到亚马逊之前运行本地 Apache Airflow 环境来开发和测试DAGs自定义插件和依赖项。MWAA
-
要运行CLI,请参阅 aws-mwaa-local-runner
on GitHub。
使用 PyPi .org 需求文件格式安装 Python 依赖项
以下部分介绍了根据 PyPi .org 需求文件格式
选项一:来自 Python 程序包索引的 Python 依赖关系
下一节介绍如何在 requirements.txt
文件中指定 Python 程序包索引
选项二:Python Wheel(.whl)
Python Wheel 是一种程序包格式,旨在发布包含已编译构件的库。将软件包作为在 Amazon 中安装依赖项的方法有几个好处MWAA:
-
安装速度更快 — WHL 文件作为单个文件复制到容器中ZIP,然后安装到本地,无需下载每个文件。
-
减少冲突-您可以提前确定程序包的版本兼容性。因此,无需
pip
以递归方式计算出兼容版本。 -
更高的弹性 — 对于外部托管的库,下游需求可能会发生变化,从而导致 Ama MWAA zon 环境中容器之间的版本不兼容。由于不依赖外部来源来获取依赖项,因此无论每个容器何时实例化,其上每个容器都有相同的库。
我们建议使用以下方法来安装 requirements.txt
中来自 Python Wheel 档案 (.whl
) 的 Python 依赖项。
在 Amazon S3 存储桶上使用 plugins.zip
文件
Apache Airflow 调度程序、工作程序和 Web 服务器(适用于 Apache Airflow v2.2 及更高版本)在启动期间在您的环境的托管的 Fargate 容器上查找自定义插件,网 AWS址为。/usr/local/airflow/plugins/
此过程在亚马逊MWAA的 *
pip3 install -r requirements.txt
Python 依赖项和 Apache Airflow 服务启动之前开始。plugins.zip
文件用于任何您不想在环境执行期间持续更改的文件,或者您可能不想向写入用户授予访问权限的任何文件DAGs。例如,Python 库轮子PEM文件、证书文件和配置YAML文件。
下一节介绍如何在 Amazon S3 存储桶上安装 plugins.zip
文件中的 Wheel。
-
下载必要的WHL文件您可以使用亚马逊MWAA本地运行
器或 pip download
其他 Amazon Linux 2 容器 requirements.txt
上的现有文件来解析和下载必要的 Python 轮子文件。$
pip3 download -r "$AIRFLOW_HOME/dags/requirements.txt" -d "$AIRFLOW_HOME/plugins"
$
cd "
$AIRFLOW_HOME
/plugins"$
zip "
$AIRFLOW_HOME
/plugins.zip" * -
在
requirements.txt
中指定路径。使用--find-links
指定位于 requirements.txt 顶部的插件目录,并指示 pip
不要使用--no-index
从其他来源安装,如下所示 --find-links /usr/local/airflow/plugins --no-index
例 在 requirements.txt 中的 wheel
以下示例假设您已将 Wheel 上传到 Amazon S3 存储桶根目录中的
plugins.zip
文件中。例如:--find-links /usr/local/airflow/plugins --no-index numpy
Amazon 从
plugins
文件夹中MWAA提取numpy-1.20.1-cp37-cp37m-manylinux1_x86_64.whl
轮子并将其安装到您的环境中。
使用WHL托管在 URL
以下部分介绍如何安装托管在上的轮子URL。URL必须可以公开访问,或者可以从VPC您为亚马逊MWAA环境指定的自定义亚马逊中访问。
-
提供一个 URL. 把它URL交给你的轮子
requirements.txt
。例 公共场合的轮子档案 URL
以下示例从公有站点下载 Wheel。
--find-links https://files.pythonhosted.org/packages/ --no-index
Amazon 从URL您指定的方向盘中MWAA提取轮子并将其安装到您的环境中。
注意
URLs无法通过私有 Web 服务器访问 Amazon MWAA v2.2 及更高版本中的安装要求。
从 a 创建WHL文件 DAG
如果您有一台使用 Apache Airflow v2.2 或更高版本的私有 Web 服务器,并且由于您的环境无法访问外部存储库而无法安装要求,则可以使用以下内容来获取您现有的亚马逊MWAA要求并将其打包DAG到 Amazon S3 上:
from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.utils.dates import days_ago S3_BUCKET = 'my-s3-bucket' S3_KEY = 'backup/plugins_whl.zip' with DAG(dag_id="create_whl_file", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag: cli_command = BashOperator( task_id="bash_command", bash_command=f"mkdir /tmp/whls;pip3 download -r /usr/local/airflow/requirements/requirements.txt -d /tmp/whls;zip -j /tmp/plugins.zip /tmp/whls/*;aws s3 cp /tmp/plugins.zip s3://
{S3_BUCKET}
/{S3_KEY}
" )
运行后DAG,使用此新文件作为您的 Amazon MWAAplugins.zip
(可选)与其他插件一起打包。然后,更新requirements.txt
前面加上--find-links /usr/local/airflow/plugins
和--no-index
不添加--constraint
的内容。
此方法允许您离线使用相同的库。
选项三:托管在私有 PyPi/PEP-503兼容存储库上的 Python 依赖项
以下部分介绍如何安装托管在私有服务器上URL且带有身份验证的 Apache Airflow 额外内容。
-
将用户名和密码添加为 Apache Airflow 配置选项。例如:
-
foo.user
:YOUR_USER_NAME
-
foo.pass
:YOUR_PASSWORD
-
-
创建
requirements.txt
文件 将以下示例中的占位符替换为您的私密占位符URL,以及您添加为 Apache Airflow 配置选项的用户名和密码。例如:--index-url https://${AIRFLOW__FOO__USER}:${AIRFLOW__FOO__PASS}@my.privatepypi.com
-
将任何其他库添加到
requirements.txt
文件中。例如:--index-url https://${AIRFLOW__FOO__USER}:${AIRFLOW__FOO__PASS}@my.privatepypi.com my-private-package==1.2.3
在 Amazon MWAA 控制台上启用日志
您的 Amazon MWAA 环境的执行角色需要权限才能将日志发送到 CloudWatch 日志。要更新执行角色的权限,请参阅 亚马逊MWAA执行角色。
您可以启用 INFO
、WARNING
、ERROR
或 CRITICAL
级别的 Apache Airflow 日志。当您选择日志级别时,Amazon MWAA 会发送该级别和所有更高严重级别的日志。例如,如果您在INFO
级别启用日志,Amazon MWAA 会向INFO
日志发送日志WARNING
ERROR
、、和CRITICAL
日志级别。 CloudWatch 我们建议启用 INFO
级别的 Apache Airflow 日志,以便计划程序查看为 requirements.txt
收到的日志。
在日志控制台上查看 CloudWatch 日志
您可以查看调度工作流程并解析 dags
文件夹的计划程序的 Apache Airflow 日志。以下步骤介绍如何在亚马逊MWAA控制台上打开计划程序的日志组,以及如何在日志控制台上查看 Apache Airflow 日志。 CloudWatch
要查看 requirements.txt
的日志,请执行以下操作
-
在 Amazon MWAA 控制台上打开 “环境” 页面
。 -
选择环境。
-
在监控窗格上选择 Airflow 计划程序日志组。
-
在日志流中选择
requirements_install_ip
日志。 -
您应该可以在
/usr/local/airflow/.local/bin
上看到环境中安装的程序包列表。例如:Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1)) Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))
-
查看程序包列表以及其中任何程序包在安装过程中是否遇到错误。如果出现问题,您可能会看到类似以下内容的错误:
2021-03-05T14:34:42.731-07:00 No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4)) No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
在 Apache Airflow UI 中查看错误
您可能还需要检查 Apache Airflow UI,以确定错误是否可能与其他问题有关。在亚马逊MWAA上使用 Apache Airflow 时,你可能遇到的最常见的错误是:
Broken DAG: No module named
x
如果您在 Apache Airflow UI 中看到此错误,则 requirements.txt
文件中可能缺少必需的依赖项。
登录 Apache Airflow
你需要在 AWS Identity and Access Management (IAM) 中拥有 AWS 账户的Apache Airflow 用户界面访问策略:A mazonMWAAWeb ServerAccess权限才能查看你的 Apache Airflow 用户界面。
要访问 Apache Airflow UI,请执行以下操作
-
在 Amazon MWAA 控制台上打开 “环境” 页面
。 -
选择环境。
-
选择打开 Airflow UI。
示例 requirements.txt
应用场景
您可以在 requirements.txt
中混合搭配不同的格式。以下示例使用不同方式的组合来安装 Extras。
例 PyPi.org 和公众的额外内容 URL
在指定 PyPi .org 中的软件包时,除了公共软件包(例如兼容 PEP 503 的自定义 repo)之外URL,您还需要使用该--index-url
选项。URLs
aws-batch == 0.6 phoenix-letter >= 0.3 --index-url http://dist.repoze.org/zope2/2.10/simple zopelib