Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Référence des commandes de la CLI Apache Airflow
Cette rubrique décrit les commandes d'interface de ligne de commande Apache Airflow prises en charge et non prises en charge sur Amazon Managed Workflows pour Apache Airflow.
Astuce
L'API REST est plus moderne que la CLI et est conçue pour une intégration programmatique avec des systèmes externes. REST est la méthode préférée pour interagir avec Apache Airflow.
Table des matières
Conditions préalables
La section suivante décrit les étapes préliminaires requises pour utiliser les commandes et les scripts de cette page.
Accès
-
Compte AWS accès dans Gestion des identités et des accès AWS (IAM) à la politique d'autorisations Amazon MWAA dans. Politique d'accès à l'interface utilisateur d'Apache Airflow : AmazonMWAAWebServerAccess
-
Compte AWS accès dans Gestion des identités et des accès AWS (IAM) à la politique d'autorisations Amazon MWAA. Politique d'accès complète à l'API et à la console : AmazonMWAAFullApiAccess
AWS CLI
Le AWS Command Line Interface (AWS CLI) est un outil open source que vous pouvez utiliser pour interagir avec les AWS services à l'aide des commandes de votre shell de ligne de commande. Pour effectuer les étapes de cette page, vous devez disposer des éléments suivants :
Qu'est-ce qui a changé ?
-
v3 : Architecture du flux d'air. Apache Airflow v3 introduit des modifications architecturales majeures pour améliorer la sécurité et l'évolutivité, et pour faciliter la maintenance. Pour en savoir plus, reportez-vous à la section Mise à niveau vers Airflow 3
. -
v2 : structure de commande Airflow CLI. L'interface de ligne de commande Apache Airflow v2 est organisée de telle sorte que les commandes associées soient regroupées sous forme de sous-commandes, ce qui signifie que vous devez mettre à jour les scripts Apache Airflow v1 si vous souhaitez passer à Apache Airflow v2. Par exemple,
unpausedans Apache Airflow v1 se trouvedags unpausedans Apache Airflow v2. Pour en savoir plus, consultez les modifications apportées à la CLI Airflow dans la version 2.0.
Commandes CLI prises en charge
La section suivante répertorie les commandes de la CLI Apache Airflow disponibles sur Amazon MWAA.
Commandes prises en charge
Utilisation de commandes qui analysent les DAG
Si votre environnement exécute Apache Airflow v2.0.2, les commandes CLI qui analysent les DAG échoueront si le DAG utilise des plugins qui dépendent des packages installés via un : requirements.txt
Apache Airflow v2.0.2
-
dags backfill -
dags list -
dags list-runs -
dags next-execution
Vous pouvez utiliser ces commandes CLI si vos DAG n'utilisent pas de plugins qui dépendent des packages installés via unrequirements.txt.
Exemple de code
La section suivante contient des exemples de différentes manières d'utiliser la CLI Apache Airflow.
Définir, obtenir ou supprimer une variable Apache Airflow v2
Vous pouvez utiliser l'exemple de code suivant pour définir, obtenir ou supprimer une variable au format<script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable>.
[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit if [[ $2 == "" ]]; then dag="variables list" elif [ $2 == "get" ] || [ $2 == "delete" ] || [ $2 == "set" ]; then dag="variables $2 $3 $4 $5" else echo "Not a valid command" exit 1 fi CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "$dag" ) \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
Ajouter une configuration lors du déclenchement d'un DAG
Vous pouvez utiliser l'exemple de code suivant avec Apache Airflow v2 pour ajouter une configuration lors du déclenchement d'un DAG, telle queairflow trigger_dag 'dag_name' —conf '{"key":"value"}'.
import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' key = "YOUR_KEY" value = "YOUR_VALUE" conf = "{\"" + key + "\":\"" + value + "\"}" client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
Exécuter des commandes CLI sur un tunnel SSH vers un hôte bastion
Utilisez l'exemple suivant pour exécuter les commandes de la CLI Airflow à l'aide d'un proxy de tunnel SSH vers un hôte Linux Bastion.
Utiliser curl
-
ssh -D 8080 -f -C -q -NYOUR_USER@YOUR_BASTION_HOST -
curl -x socks5h://0:8080 --request POST https://YOUR_HOST_NAME/aws_mwaa/cli --headerYOUR_HEADERS--data-rawYOUR_CLI_COMMAND
