Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Apache Airflow CLI-Befehlsreferenz
In diesem Thema werden die unterstützten und nicht unterstützten Apache Airflow CLI-Befehle in Amazon Managed Workflows für Apache Airflow beschrieben.
Tipp
Die REST-API ist moderner als die CLI und wurde für die programmatische Integration mit externen Systemen entwickelt. REST ist die bevorzugte Art der Interaktion mit Apache Airflow.
Inhalt
Voraussetzungen
Im folgenden Abschnitt werden die vorbereitenden Schritte beschrieben, die zur Verwendung der Befehle und Skripts auf dieser Seite erforderlich sind.
Zugriff
-
AWS-Konto Zugriff in AWS Identity and Access Management (IAM) auf die Amazon MWAA-Berechtigungsrichtlinie in. Zugriffsrichtlinie für die Apache Airflow UI: AmazonMWAAWebServerAccess
-
AWS-Konto Zugriff in AWS Identity and Access Management (IAM) auf die Amazon MWAA-Berechtigungsrichtlinie. Vollständige Richtlinien für den Zugriff auf APIs und Konsolen: AmazonMWAAFullApiAccess
AWS CLI
AWS Command Line Interface (AWS CLI) ist ein Open-Source-Tool, mit dem Sie mithilfe von Befehlen in Ihrer AWS Befehlszeilen-Shell mit Diensten interagieren können. Um die Schritte auf dieser Seite abzuschließen, benötigen Sie Folgendes:
Was hat sich geändert?
-
v3: Airflow-Architektur. Apache Airflow v3 führt bahnbrechende architektonische Änderungen ein, um die Sicherheit und Skalierbarkeit zu verbessern und die Wartung zu vereinfachen. Weitere Informationen finden Sie unter Upgrade auf Airflow 3.
-
v2: Airflow CLI-Befehlsstruktur. Die Apache Airflow v2-CLI ist so organisiert, dass verwandte Befehle als Unterbefehle zusammengefasst sind. Das bedeutet, dass Sie die Apache Airflow v1-Skripte aktualisieren müssen, wenn Sie ein Upgrade auf Apache Airflow v2 durchführen möchten. Zum Beispiel ist
dags unpauseesunpausein Apache Airflow v1 in Apache Airflow v2. Weitere Informationen finden Sie unter Airflow CLI-Änderungen in 2.0.
Unterstützte CLI-Befehle
Im folgenden Abschnitt sind die Apache Airflow CLI-Befehle aufgeführt, die auf Amazon MWAA verfügbar sind.
Unterstützte Befehle
Verwenden von Befehlen, die DAGs analysieren
Wenn in Ihrer Umgebung Apache Airflow v2.0.2 ausgeführt wird, schlagen CLI-Befehle zum Analysieren von DAGs fehl, wenn die DAG Plugins verwendet, die von Paketen abhängen, die über Folgendes installiert wurden: requirements.txt
Apache Airflow v2.0.2
-
dags backfill -
dags list -
dags list-runs -
dags next-execution
Sie können diese CLI-Befehle verwenden, wenn Ihre DAGs keine Plugins verwenden, die von Paketen abhängen, die über a installiert wurden. requirements.txt
Beispiel-Code
Der folgende Abschnitt enthält Beispiele für verschiedene Verwendungsmöglichkeiten der Apache Airflow CLI.
Eine Apache Airflow v2-Variable setzen, abrufen oder löschen
Sie können den folgenden Beispielcode verwenden, um eine Variable im Format von <script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable> zu setzen, abzurufen oder zu löschen.
[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit if [[ $2 == "" ]]; then dag="variables list" elif [ $2 == "get" ] || [ $2 == "delete" ] || [ $2 == "set" ]; then dag="variables $2 $3 $4 $5" else echo "Not a valid command" exit 1 fi CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "$dag" ) \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
Fügen Sie beim Auslösen einer DAG eine Konfiguration hinzu
Sie können den folgenden Beispielcode mit Apache Airflow v2 verwenden, um beim Auslösen einer DAG eine Konfiguration hinzuzufügen, z. B. airflow trigger_dag 'dag_name' —conf '{"key":"value"}'
import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' key = "YOUR_KEY" value = "YOUR_VALUE" conf = "{\"" + key + "\":\"" + value + "\"}" client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
Führen Sie CLI-Befehle in einem SSH-Tunnel zu einem Bastion-Host aus
Verwenden Sie das folgende Beispiel, um Airflow-CLI-Befehle mithilfe eines SSH-Tunnelproxys zu einem Linux-Bastion-Host auszuführen.
Verwenden von Curl
-
ssh -D 8080 -f -C -q -NYOUR_USER@YOUR_BASTION_HOST -
curl -x socks5h://0:8080 --request POST https://YOUR_HOST_NAME/aws_mwaa/cli --headerYOUR_HEADERS--data-rawYOUR_CLI_COMMAND
