View a markdown version of this page

Como criar um token da CLI do Apache Airflow - Amazon Managed Workflows for Apache Airflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como criar um token da CLI do Apache Airflow

dica

A API REST é mais moderna que a CLI e foi projetada para integração programática com sistemas externos. REST é a forma preferida de interagir com o Apache Airflow.

É possível usar os comandos nesta página para gerar um token da CLI e, em seguida, fazer chamadas de API do Amazon Managed Workflows for Apache Airflow diretamente no seu shell de comando. Por exemplo, é possível obter um token e, em seguida, implantar DAGs de forma programática usando as APIs do Amazon MWAA. A seção a seguir inclui as etapas para criar um token de CLI do Apache Airflow usando o AWS CLI, um script curl, um script Python ou um script bash. O token retornado na resposta é válido por 60 segundos.

O AWS CLI token serve como um substituto para ações síncronas do shell, não para comandos assíncronos da API. Dessa forma, a simultaneidade disponível é limitada. Para garantir que o servidor web permaneça responsivo para os usuários, recomendamos não abrir uma nova AWS CLI solicitação até que a anterior seja concluída com êxito.

Pré-requisitos

A seção a seguir descreve as etapas preliminares necessárias para usar os comandos e scripts desta página.

Acesso

AWS CLI

O AWS Command Line Interface (AWS CLI) é uma ferramenta de código aberto que você pode usar para interagir com AWS serviços usando comandos em seu shell de linha de comando. Para concluir as etapas nesta página, é necessário o seguinte:

Usar o AWS CLI

O exemplo a seguir usa o comando create-cli-token no AWS CLI para criar um token de CLI do Apache Airflow.

aws mwaa create-cli-token --name YOUR_ENVIRONMENT_NAME

Como usar um script cURL

Use o script curl a seguir para chamar o comando create-cli-token no para invocar a CLI do AWS CLI Apache Airflow por meio de um endpoint no servidor web Apache Airflow e acionar um DAG.

Apache Airflow v3
  1. Copie a instrução cURL do seu arquivo de texto e cole-a no shell de comando.

    nota

    Depois de copiá-la para a área de transferência, talvez seja necessário usar Editar > Colar a partir do seu menu shell.

    CLI_JSON=$(aws mwaa --region us-east-1 create-cli-token --name YOUR_ENVIRONMENT_NAME) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl -L --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "dags trigger YOUR_DAG_NAME --logical-date $(date -u +"%Y-%m-%dT%H:%M:%SZ")") \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
  2. YOUR_DAG_NAMESubstitua pelo nome do seu DAG, YOUR_ENVIRONMENT_NAME pelo nome do seu ambiente e pela Região da AWS região do seu ambiente. Por exemplo, um nome de host para uma rede pública pode ser algo como (sem o https://):

    123456a0-0101-2020-9e11-1b159eec9000.c2.us-east-1.airflow.amazonaws.com

    Seu prompt de comando exibe:

    { "stderr":"<STDERR of the CLI execution (if any), base64 encoded>", "stdout":"<STDOUT of the CLI execution, base64 encoded>" }
Apache Airflow v2
  1. Copie a instrução cURL do seu arquivo de texto e cole-a no shell de comando.

    nota

    Depois de copiá-la para a área de transferência, talvez seja necessário usar Editar > Colar a partir do seu menu shell.

    CLI_JSON=$(aws mwaa --region us-east-1 create-cli-token --name YOUR_ENVIRONMENT_NAME) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "dags trigger YOUR_DAG_NAME") \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
  2. YOUR_DAG_NAMESubstitua pelo nome do seu DAG, YOUR_ENVIRONMENT_NAME pelo nome do seu ambiente e pela Região da AWS região do seu ambiente. Por exemplo, um nome de host para uma rede pública pode ser algo como (sem o https://):

    123456a0-0101-2020-9e11-1b159eec9000.c2.us-east-1.airflow.amazonaws.com

    Seu prompt de comando exibe:

    { "stderr":"<STDERR of the CLI execution (if any), base64 encoded>", "stdout":"<STDOUT of the CLI execution, base64 encoded>" }

Como usar um script bash

Use o script bash a seguir para chamar o comando create-cli-token no AWS CLI, criar um token de CLI do Apache Airflow e acionar um DAG.

Apache Airflow v3
  1. Copie o conteúdo da amostra de código a seguir e salve localmente como get-cli-token.sh.

    # brew install jq CLI_TOKEN=$(aws mwaa create-cli-token --name YOUR_ENVIRONMENT_NAME | jq -r '.CliToken') \ && curl -L --request POST "https://YOUR_HOST_NAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "dags trigger YOUR_DAG_NAME --logical-date $(date -u +"%Y-%m-%dT%H:%M:%SZ")"
  2. YOUR_ENVIRONMENT_NAMESubstitua pelo nome do seu ambiente, YOUR_HOST_NAME pelo nome do host do seu servidor web e YOUR_DAG_NAME pelo nome do seu DAG. Por exemplo, um nome de host para uma rede pública pode ser algo como (sem o https://):

    123456a0-0101-2020-9e11-1b159eec9000.c2.us-east-1.airflow.amazonaws.com
  3. (opcional) os usuários do macOS e do Linux podem precisar executar o comando a seguir para garantir que o script seja executável.

    chmod +x get-cli-token.sh
  4. Execute o script a seguir para criar um token da CLI do Apache Airflow.

    ./get-cli-token.sh
Apache Airflow v2
  1. Copie o conteúdo da amostra de código a seguir e salve localmente como get-cli-token.sh.

    # brew install jq CLI_TOKEN=$(aws mwaa create-cli-token --name YOUR_ENVIRONMENT_NAME | jq -r '.CliToken') \ && curl --request POST "https://YOUR_HOST_NAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "dags trigger YOUR_DAG_NAME"
  2. YOUR_ENVIRONMENT_NAMESubstitua pelo nome do seu ambiente, YOUR_HOST_NAME pelo nome do host do seu servidor web e YOUR_DAG_NAME pelo nome do seu DAG. Por exemplo, um nome de host para uma rede pública pode ser algo como (sem o https://):

    123456a0-0101-2020-9e11-1b159eec9000.c2.us-east-1.airflow.amazonaws.com
  3. (opcional) os usuários do macOS e do Linux podem executar o comando a seguir para garantir que o script seja executável.

    chmod +x get-cli-token.sh
  4. Execute o script a seguir para criar um token da CLI do Apache Airflow.

    ./get-cli-token.sh

Como usar um script Python

O exemplo a seguir usa o método boto3 create_cli_token em um script Python para criar um token da CLI do Apache Airflow e acionar um DAG. É possível executar esse script fora do Amazon MWAA. Você só precisa instalar a biblioteca boto3. Talvez você queira criar um ambiente virtual para instalar a biblioteca. Ele pressupõe que você tenha configurado as credenciais de AWS autenticação para sua conta.

Apache Airflow v3
  1. Copie o conteúdo da amostra de código a seguir e salve localmente como create-cli-token.py.

    """ Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved. Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. """ import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' mwaa_cli_command = 'dags trigger' client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = '{0} {1}'.format(mwaa_cli_command, dag_name) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
  2. Substitua os espaços reservados por YOUR_ENVIRONMENT_NAME e YOUR_DAG_NAME.

  3. Execute o script a seguir para criar um token da CLI do Apache Airflow.

    python3 create-cli-token.py
Apache Airflow v2
  1. Copie o conteúdo da amostra de código a seguir e salve localmente como create-cli-token.py.

    """ Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved. Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. """ import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' mwaa_cli_command = 'dags trigger' client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = '{0} {1}'.format(mwaa_cli_command, dag_name) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
  2. Substitua os espaços reservados por YOUR_ENVIRONMENT_NAME e YOUR_DAG_NAME.

  3. Execute o script a seguir para criar um token da CLI do Apache Airflow.

    python3 create-cli-token.py

Próximas etapas

  • Explore a operação da API Amazon MWAA usada para criar um token CLI em. CreateCliToken