本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
安裝在 Amazon MWAA環境上的 Apache Airflow 提供者套件
當您建立新環境時,Amazon 會為 Apache Airflow v2 及更高連線類型MWAA安裝提供者額外requirements.txt
檔案中將這些套件指定為 Python 相依性。此頁面列出 Amazon MWAA為所有 Apache Airflow v2 環境安裝的 Apache Airflow 提供者套件。
注意
對於 Apache Airflow v2 及更高版本,Amazon 會在調適 之後MWAA安裝 Watchtower 2.0.1 版pip3 install -r requirements.txt
,以確保其他 Python 程式庫安裝不會覆寫與 CloudWatch記錄的相容性。
內容
Apache Airflow v2.10.1 連線的提供者套件
當您在 Apache Airflow 2.10.1 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Fab 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
|
SMTP 連線 |
Apache Airflow v2.9.2 連線的提供者套件
當您在 Apache Airflow 2.9.2 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Fab 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
|
SMTP 連線 |
Apache Airflow v2.8.1 連線的提供者套件
當您在 Apache Airflow 2.8.1 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
Apache Airflow v2.7.2 連線的提供者套件
當您在 Apache Airflow 2.7.2 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
Apache Airflow v2.6.3 連線的提供者套件
當您在 Apache Airflow 2.6.3 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
Apache Airflow v2.5.1 連線的提供者套件
當您在 Apache Airflow 2.5.1 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
注意
您可以指定最新的支援版本 apache-airflow-providers-amazon
來升級此提供者。如需指定較新版本的詳細資訊,請參閱 指定較新的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
Apache Airflow v2.4.3 連線的提供者套件
當您在 Apache Airflow 2.4.3 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
常見 SQL |
|
SQLite 連線 |
Apache Airflow v2.2.2 連線的提供者套件
當您在 Apache Airflow 2.2.2 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
連線類型 | 套件 |
---|---|
AWS 連線 |
|
Postgres 連線 |
|
FTP 連線 |
|
Celery Connection |
|
HTTP 連線 |
|
IMAP 連線 |
|
SQLite 連線 |
Apache Airflow v2.0.2 連線的提供者套件
當您在 Apache Airflow 2.0.2 版中建立 Amazon MWAA環境時,Amazon 會MWAA安裝下列用於 Apache Airflow 連線的提供者套件。
連線類型 | 套件 |
---|---|
Tableau 連線 |
|
Databricks 連線 |
|
SSH 連線 |
|
Postgres 連線 |
|
Docker 連線 |
|
Oracle 連線 |
|
Presto Connection |
|
SFTP 連線 |
指定較新的提供者套件
從 Apache Airflow 2.7.2 版開始,您的需求檔案必須包含--constraint
陳述式。如果您沒有提供限制,Amazon MWAA會為您指定一個,以確保您需求中列出的套件與您正在使用的 Apache Airflow 版本相容。
Apache Airflow 限制檔案會指定 Apache Airflow 發行時可用的提供者版本。不過,在許多情況下,較新的供應商與該版本的 Apache Airflow 相容。由於您必須使用限制條件,若要指定較新版本的提供者套件,您可以修改特定提供者版本的限制檔案:
-
從 https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt 下載版本特定的限制檔案"
-
將限制檔案中的
apache-airflow-providers-amazon
版本修改為您要使用的版本。 -
將修改後的限制檔案儲存至 Amazon 環境的 Amazon S3 dags 資料夾,例如,作為 MWAA
constraints-3.11-updated.txt
-
指定您的需求,如下所示。
--constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==
version-number
注意
如果您使用的是私有 Web 伺服器,我們建議您使用 Amazon MWAA Local-runner
將所需的程式庫封裝為WHL檔案。