Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Referensi perintah Apache Airflow CLI
Topik ini menjelaskan perintah Apache Airflow CLI yang didukung dan tidak didukung pada Alur Kerja Terkelola Amazon untuk Apache Airflow.
Tip
REST API lebih modern daripada CLI dan dirancang untuk integrasi terprogram dengan sistem eksternal. REST adalah cara yang lebih disukai untuk berinteraksi dengan Apache Airflow.
Daftar Isi
Prasyarat
Bagian berikut menjelaskan langkah-langkah awal yang diperlukan untuk menggunakan perintah dan skrip di halaman ini.
Akses
-
Akun AWS akses di AWS Identity and Access Management (IAM) ke kebijakan izin Amazon MWAA di. Kebijakan akses UI Apache Airflow: AmazonMWAAWebServerAccess
-
Akun AWS akses di AWS Identity and Access Management (IAM) ke kebijakan izin Amazon MWAA. Kebijakan akses API dan konsol lengkap: AmazonMWAAFullApiAccess
AWS CLI
AWS Command Line Interface (AWS CLI) adalah alat sumber terbuka yang dapat Anda gunakan untuk berinteraksi dengan AWS layanan menggunakan perintah di shell baris perintah Anda. Untuk menyelesaikan langkah-langkah di halaman ini, Anda memerlukan yang berikut:
Apa yang berubah?
-
v3: Arsitektur aliran udara. Apache Airflow v3 memperkenalkan perubahan arsitektur yang luar biasa untuk memberikan peningkatan keamanan dan skalabilitas, dan untuk mempermudah pemeliharaan. Untuk mempelajari lebih lanjut, lihat Up grade To Airflow 3
. -
v2: Struktur perintah CLI aliran udara. Apache Airflow v2 CLI diatur sedemikian rupa sehingga perintah terkait dikelompokkan bersama sebagai subperintah, yang berarti Anda perlu memperbarui skrip Apache Airflow v1 jika Anda ingin meningkatkan ke Apache Airflow v2. Misalnya,
unpausedi Apache Airflow v1 adadags unpausedi Apache Airflow v2. Untuk mempelajari lebih lanjut, lihat Perubahan Airflow CLI di 2.0.
Perintah CLI yang didukung
Bagian berikut mencantumkan perintah Apache Airflow CLI yang tersedia di Amazon MWAA.
Perintah yang Didukung
Menggunakan perintah yang mengurai DAG
Jika lingkungan Anda menjalankan Apache Airflow v2.0.2, perintah CLI yang mengurai DAG akan gagal jika DAG menggunakan plugin yang bergantung pada paket yang diinstal melalui: requirements.txt
Apache Aliran Udara v2.0.2
-
dags backfill -
dags list -
dags list-runs -
dags next-execution
Anda dapat menggunakan perintah CLI ini jika DAG Anda tidak menggunakan plugin yang bergantung pada paket yang diinstal melalui arequirements.txt.
Kode sampel
Bagian berikut berisi contoh cara yang berbeda untuk menggunakan Apache Airflow CLI.
Mengatur, mendapatkan, atau menghapus variabel Apache Airflow v2
Anda dapat menggunakan kode contoh berikut untuk mengatur, mendapatkan atau menghapus variabel dalam format<script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable>.
[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit if [[ $2 == "" ]]; then dag="variables list" elif [ $2 == "get" ] || [ $2 == "delete" ] || [ $2 == "set" ]; then dag="variables $2 $3 $4 $5" else echo "Not a valid command" exit 1 fi CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "$dag" ) \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
Tambahkan konfigurasi saat memicu DAG
Anda dapat menggunakan kode contoh berikut dengan Apache Airflow v2 untuk menambahkan konfigurasi saat memicu DAG, sepertiairflow trigger_dag 'dag_name' —conf '{"key":"value"}'.
import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' key = "YOUR_KEY" value = "YOUR_VALUE" conf = "{\"" + key + "\":\"" + value + "\"}" client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
Jalankan perintah CLI pada terowongan SSH ke host bastion
Gunakan contoh berikut untuk menjalankan perintah Airflow CLI menggunakan proxy terowongan SSH ke Host Bastion Linux.
Menggunakan curl
-
ssh -D 8080 -f -C -q -NYOUR_USER@YOUR_BASTION_HOST -
curl -x socks5h://0:8080 --request POST https://YOUR_HOST_NAME/aws_mwaa/cli --headerYOUR_HEADERS--data-rawYOUR_CLI_COMMAND
