安装 Python 依赖项 - Amazon Managed Workflows for Apache Airflow
先决条件工作方式Python 依赖项概述创建 requirements.txt 文件上传 requirements.txt 到 Amazon S3在环境中安装 Python 依赖项查看您 requirements.txt 的日志接下来做什么？

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

安装 Python 依赖项

Python 依赖项是指在 Amazon MWAA 环境中为 Apache Airflow 版本安装的 Apache Airflow 基础版安装中未包含的任何程序包或发行版。本页介绍使用亚马逊 S3 存储桶中的requirements.txt文件在亚马逊MWAA环境中安装 Apache Airflow Python 依赖项的步骤。

先决条件

在完成本页上的步骤之前，您需要具备以下条件。

工作方式

在亚马逊上MWAA，您可以安装所有 Python 依赖项，方法是将requirements.txt文件上传到您的 Amazon S3 存储桶，然后在每次更新文件时在亚马逊MWAA控制台上指定该文件的版本。亚马逊MWAA运行是pip3 install -r requirements.txt为了在 Apache Airflow 调度程序和每个工作程序上安装 Python 依赖项。

要在环境中运行 Python 依赖项，您必须做三件事：

  1. 在本地创建 requirements.txt 文件。

  2. 将本地 requirements.txt 上传到 Amazon S3 中的存储桶。

  3. 在 Amazon MWAA 控制台的 “需求文件” 字段中指定此文件的版本。

注意

如果这是您首次创建并上传requirements.txt到 Amazon S3 存储桶，则还需要在 Amazon MWAA 控制台上指定文件路径。您只需要完成此步骤一次。

Python 依赖项概述

你可以从 Python Package Index (PyPi.org)、Python wheels (.whl) 或 Python 依赖项中安装 Apache Airflow 额外内容和其他 Python 依赖项，这些依赖项来自环境中私有 PyPi/PEP-503 兼容存储库上托管的 Python 依赖项。

Python 依赖项位置和大小限制

Apache Airflow Scheduler 和 Workers 会在requirements.txt文件中查找软件包，然后将软件包安装在环境中。 /usr/local/airflow/.local/bin

  • 大小限制。我们建议使用 requirements.txt 文件，以引用组合大小小于 1 GB 的库。Amazon MWAA 需要安装的库越多，环境上的启动时间就越长。尽管 Amazon MWAA 没有明确限制已安装库的大小，但如果无法在十分钟内安装依赖项，Fargate 服务将超时并尝试将环境回滚到稳定状态。

创建 requirements.txt 文件

以下步骤描述了在本地创建 plugins.zip 文件时我们建议的步骤。

第一步：使用亚马逊MWAACLI实用程序测试 Python 依赖关系

  • 命令行界面 (CLI) 实用程序在本地复制适用于 Apache Airflow 的亚马逊托管工作流程。

  • 在本地CLI构建 Docker 容器镜像，该镜像类似于亚马逊MWAA生产镜像。这允许您在部署到亚马逊之前运行本地 Apache Airflow 环境来开发和测试DAGs自定义插件和依赖项。MWAA

  • 要运行CLI，请参阅 aws-mwaa-local-runneron GitHub。

步骤 2：创建 requirements.txt

下一节介绍如何在 requirements.txt 文件中指定 Python 程序包索引中的 Python 依赖项。

Apache Airflow v2

  1. 本地测试。在创建 requirements.txt 文件之前，以迭代方式添加其他库以找到程序包及其版本的正确组合。要运行 Amazon MWAA CLI 实用工具，请参阅aws-mwaa-local-runner上的 GitHub。

  2. 查看 Apache Airflow 程序包的 Extras。要查看为亚马逊上的 Apache Airflow v2 安装的软件包列表，MWAA请访问网站requirements.txt上的亚马逊MWAA本地运行器。 GitHub

  3. 添加约束语句。在 requirements.txt 文件顶部添加 Apache Airflow v2 环境的约束文件。Apache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。

    从 Apache Airflow v2.7.2 开始，要求文件必须包含一条 --constraint 语句。如果您未提供约束条件，亚马逊MWAA将为您指定一个限制，以确保您的要求中列出的软件包与您正在使用的 Apache Airflow 版本兼容。

    在以下示例中，替换 {environment-version} 使用您环境的版本号，以及 {Python-version} 使用与您的环境兼容的 Python 版本。

    有关与你的 Apache Airflow 环境兼容的 Python 版本的信息，请参阅 A pache 气流版本。

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    如果约束文件确定该xyz==1.0软件包与您环境中的其他软件包不兼容，则pip3 install会失败，以防止将不兼容的库安装到您的环境中。如果任何软件包安装失败，则可以在日志的相应日志流中查看每个 Apache Airflow 组件（调度程序、工作程序和 Web 服务器）的错误日志。 CloudWatch 有关日志类型的更多信息，请参阅 在 Amazon 中查看气流日志 CloudWatch。

  4. Apache Airflow 程序包。添加程序包 Extras及其版本 (==)。这有助于防止在环境中安装同名但版本不同的程序包。

    apache-airflow[package-extra]==2.5.1

  5. Python 库。在 requirements.txt 文件中添加程序包名称和版本 (==)。这有助于防止自动应用来自 PyPi.org 的 future 更新。

    library == version
    例 boto3 和 psycopg2-binary

    此示例仅用于演示目的。boto 和 psycopg2-binary 库包含在 Apache Airflow v2 基础版安装中，无需在 requirements.txt 文件中指定。

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    如果指定的软件包没有版本，Amazon MWAA 将从 PyPi.org 安装最新版本的软件包。此版本可能与您 requirements.txt 中的其他程序包冲突。

Apache Airflow v1

  1. 本地测试。在创建 requirements.txt 文件之前，以迭代方式添加其他库以找到程序包及其版本的正确组合。要运行 Amazon MWAA CLI 实用工具，请参阅aws-mwaa-local-runner上的 GitHub。

  2. 查看 Apache Airflow 程序包的 Extras。在 airflow/constraints-1.10.12/constraints-3.7.txt 上查看 Apache Airflow v1.10.12 的可用软件包列表。https://raw.githubusercontent.com/apache/

  3. 添加约束文件。在 requirements.txt 文件顶部添加 Apache Airflow v2v1.10.12 的约束文件。如果约束文件确定该 xyz==1.0 程序包与环境中的其他程序包不兼容，则 pip3 install 将无法阻止不兼容的库安装到环境中。

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt"

  4. Apache Airflow v1.10.12 程序包。添加 Airflow 程序包 Extras和 Apache Airflow v1.10.12 版本 (==)。这有助于防止在环境中安装同名但版本不同的程序包。

    apache-airflow[package]==1.10.12
    例 安全外壳 (SSH)

    以下示例requirements.txt文件SSH适用于 Apache Airflow v1.10.12。

    apache-airflow[ssh]==1.10.12

  5. Python 库。在 requirements.txt 文件中添加程序包名称和版本 (==)。这有助于防止自动应用来自 PyPi.org 的 future 更新。

    library == version
    例 Boto3

    以下示例 requirements.txt 文件安装适用于 Apache Airflow v1.10.12 的 Boto3 库。

    boto3 == 1.17.4

    如果指定的软件包没有版本，Amazon MWAA 将从 PyPi.org 安装最新版本的软件包。此版本可能与您 requirements.txt 中的其他程序包冲突。

上传 requirements.txt 到 Amazon S3

您可以使用 Amazon S3 控制台或 AWS Command Line Interface (AWS CLI) 将requirements.txt文件上传到您的 Amazon S3 存储桶。

使用 AWS CLI

AWS Command Line Interface (AWS CLI) 是一个开源工具，可让您使用命令行 shell 中的命令与 AWS 服务进行交互。要完成本节中的步骤，您需要以下满足以下条件：

要使用上传 AWS CLI

  1. 以下示例列出所有 Amazon S3 存储桶。

    aws s3 ls

  2. 使用以下命令列出 Amazon S3 存储桶中适合环境的文件和文件夹。

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. 以下命令将 requirements.txt 文件上传到 Amazon S3 存储桶。

    aws s3 cp requirements.txt s3://YOUR_S3_BUCKET_NAME/requirements.txt

使用 Amazon S3 控制台

Amazon S3 控制台是一个基于 Web 的UI ，允许您创建和管理 Amazon S3 桶中的资源。

要使用 Amazon S3 控制台上传，请执行以下操作

  1. 在 Amazon MWAA 控制台上打开 “环境” 页面。

  2. 选择环境。

  3. 在 S3 窗格的DAG代码中选择 S3 存储桶链接，在 Amazon S3 控制台上打开您的存储桶。

  4. 选择上传。

  5. 选择 添加文件。

  6. 选择 requirements.txt 的本地副本，选择上传。

在环境中安装 Python 依赖项

本节介绍如何安装您上传到 Amazon S3 存储桶的依赖项，方法是指定 requirements.txt 文件的路径，并在每次更新时指定 requirements.txt 文件的版本。

在 Amazon MWAA 控制台requirements.txt上指定路径（第一次）

如果这是您首次创建并上传requirements.txt到 Amazon S3 存储桶，则还需要在 Amazon MWAA 控制台上指定文件路径。您只需要完成此步骤一次。

  1. 在 Amazon MWAA 控制台上打开 “环境” 页面。

  2. 选择环境。

  3. 选择编辑。

  4. 在 Amazon S3 窗格的DAG代码中，选择 “需求文件-可选” 字段旁边的 “浏览 S3”。

  5. 选择 Amazon S3 存储桶中的 requirements.txt 文件。

  6. 选择选择。

  7. 选择下一步、更新环境。

您可以在环境完成更新后立即开始使用新程序包。

在 Amazon MWAA 控制台上指定requirements.txt版本

每次在 Amazon S3 存储桶中上传新版本时，都需要requirements.txt在亚马逊MWAA控制台上指定requirements.txt文件的版本。

  1. 在 Amazon MWAA 控制台上打开 “环境” 页面。

  2. 选择环境。

  3. 选择编辑。

  4. 在 Amazon S3 窗格的DAG代码中，从下拉列表中选择一个requirements.txt版本。

  5. 选择下一步、更新环境。

您可以在环境完成更新后立即开始使用新程序包。

查看您 requirements.txt 的日志

您可以查看调度工作流程并解析 dags 文件夹的计划程序的 Apache Airflow 日志。以下步骤介绍如何在 Amazon MWAA 控制台上打开计划程序的日志组，以及如何在日志控制台上查看 Apache Airflow 日志。 CloudWatch

要查看 requirements.txt 的日志，请执行以下操作

  1. 在 Amazon MWAA 控制台上打开 “环境” 页面。

  2. 选择环境。

  3. 在监控窗格上选择 Airflow 计划程序日志组。

  4. 在日志流中选择 requirements_install_ip 日志。

  5. 您应该可以在 /usr/local/airflow/.local/bin 上看到环境中安装的程序包列表。例如：

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. 查看程序包列表以及其中任何程序包在安装过程中是否遇到错误。如果出现问题，您可能会看到类似以下内容的错误：

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

接下来做什么？

  • 使用 on 在本地测试你的DAGs自定义插件和 Python 依赖关系 GitHub。aws-mwaa-local-runner