Amazon MWAA 環境にインストールされている Apache エアフロープロバイダーパッケージ
Amazon MWAA では、新しい環境を作成すると、Apache Airflow v2 以降の接続タイプ用のプロバイダーエクストラrequirements.txtファイル内の Python 依存関係として指定する必要がないことも意味します。このページには、Amazon MWAA によってすべての Apache Airflow v2 環境にインストールされた Apache Airflow プロバイダーパッケージが一覧表示されます。
注記
Apache Airflow v2 およびそれ以降では、Amazon MWAA は pip3 install -r requirements.txt を実行した後、Watchtower バージョン 2.0.1
目次
- Apache Airflow v2.10.1 接続用のプロバイダーパッケージ
- Apache Airflow v2.9.2 接続用のプロバイダーパッケージ
- Apache Airflow v2.8.1 接続用のプロバイダーパッケージ
- Apache Airflow v2.7.2 接続用のプロバイダーパッケージ
- Apache Airflow v2.6.3 接続用のプロバイダーパッケージ
- Apache Airflow v2.5.1 接続用のプロバイダーパッケージ
- Apache Airflow v2.4.3 接続用のプロバイダーパッケージ
- Apache Airflow v2.2.2 接続用のプロバイダーパッケージ
- Apache Airflow v2.0.2 接続用のプロバイダーパッケージ
- 新しいプロバイダーパッケージの指定
Apache Airflow v2.10.1 接続用のプロバイダーパッケージ
Apache Airflow v2.10.1 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
Fab 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
|
|
SMTP 接続 |
Apache Airflow v2.9.2 接続用のプロバイダーパッケージ
Apache Airflow v2.9.2 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
Fab 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
|
|
SMTP 接続 |
Apache Airflow v2.8.1 接続用のプロバイダーパッケージ
Apache Airflow v2.8.1 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
Apache Airflow v2.7.2 接続用のプロバイダーパッケージ
Apache Airflow v2.7.2 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
Apache Airflow v2.6.3 接続用のプロバイダーパッケージ
Apache Airflow v2.6.3 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンのapache-airflow-providers-amazonを指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
Apache Airflow v2.5.1 接続用のプロバイダーパッケージ
Apache Airflow v2.5.1 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
注記
このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。新しいバージョンの指定に関する詳細は、新しいプロバイダーパッケージの指定 を参照してください。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
Apache Airflow v2.4.3 接続用のプロバイダーパッケージ
Apache Airflow v2.4.3 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
共通 SQL |
|
|
SQLite コネクション |
Apache Airflow v2.2.2 接続用のプロバイダーパッケージ
Apache Airflow v2.2.2 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
| 接続タイプ | パッケージ |
|---|---|
|
AWS 接続 |
|
|
Postgres 接続 |
|
|
FTP 接続 |
|
|
セロリ接続 |
|
|
HTTP 接続 |
|
|
IMAP 接続 |
|
|
SQLite コネクション |
Apache Airflow v2.0.2 接続用のプロバイダーパッケージ
Apache Airflow v2.0.2 で Amazon MWAA 環境を作成すると、Amazon MWAA は Apache Airflow 接続に使用される以下のプロバイダーパッケージをインストールします。
| 接続タイプ | パッケージ |
|---|---|
|
Tableau Connection |
|
|
データブリックス接続 |
|
|
SSH 接続 |
|
|
Postgres 接続 |
|
|
Docker Connection |
|
|
Oracle Connection |
|
|
Presto Connection |
|
|
SFTP 接続 |
新しいプロバイダーパッケージの指定
Apache Airflow v2.7.2 から、要件ファイルには --constraint ステートメントを含める必要があります。制約を指定しない場合、要件に記載されているパッケージが使用している Apache Airflow のバージョンと互換性があることを確認するため、Amazon MWAA はお客様に代わって制約を指定します。
Apache Airflow の制約ファイルには、Apache Airflow のリリース時点で利用可能なプロバイダーのバージョンが指定されています。ただし、多くの場合、新しいプロバイダーはそのバージョンの Apache Airflow と互換性があります。制約を使用する必要があるため、プロバイダ・パッケージの新しいバージョンを指定するには、特定のプロバイダ・バージョンに合わせて制約ファイルを変更できます。
-
バージョン固有の制約ファイルを https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt "
からダウンロードしてください。 -
制約ファイル内の
apache-airflow-providers-amazonバージョンを、使用したいバージョンに変更します。 -
変更した制約ファイルを、Amazon MWAA 環境の Amazon S3 DAGs フォルダに保存してください。例えば、
constraints-3.11-updated.txtとして保存します。 -
次に示すように、要件を指定します。
--constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number注記
プライベートウェブサーバーを使用している場合は、Amazon MWAA local-runner
を用いて必要なライブラリを WHL ファイルとしてパッケージ化することをお勧めします。
