Como criar uma conexão SSH usando o SSHOperator

Para criar uma nova conexão SSH usando a IU do Apache Airflow

1. Abra a página Ambientes no console do Amazon MWAA.

2. Na lista de ambientes, escolha Abrir a IU do Airflow em seu ambiente.

3. Na página IU do Apache Airflow, selecione Admin na barra de navegação superior para expandir a lista suspensa e selecione Conexões.

4. Na página Listar conexões, escolha o botão + ou Adicionar um novo registro para adicionar uma nova conexão.

5. Na página Adicionar conexão, forneça as seguintes informações:

   1. Em Id da conexão, insira ssh_new.

   2. Em Tipo de conexão, selecione SSH na lista suspensa.

      nota

      Se o tipo de conexão SSH não estiver disponível na lista, o Amazon MWAA não instalou o pacote de apache-airflow-providers-ssh necessário. Atualize seu arquivo requirements.txt para incluir esse pacote e tente novamente.

   3. Para Host, insira o endereço IP para a instância do Amazon EC2 à qual você deseja se conectar. Por exemplo, 12.345.67.89.

   4. Em Nome de usuário, insira ec2-user se você está se conectando a uma instância do Amazon EC2. Seu nome de usuário pode ser diferente, dependendo do tipo de instância remota à qual você deseja que o Apache Airflow se conecte.

   5. Para Extra, insira o seguinte par de chave-valor no formato JSON:

      { "key_file": "/usr/local/airflow/dags/your-secret-key.pem" }

      Esse par de chave-valor instrui o Apache Airflow a procurar a chave secreta no diretório local /dags.

1. Abra um terminal e navegue até o diretório em que seu código DAG está armazenado. Por exemplo:

   cd dags

2. Copie o conteúdo da amostra de código a seguir e salve localmente como ssh.py.

   from airflow.decorators import dag
   from datetime import datetime
   from airflow.providers.ssh.operators.ssh import SSHOperator
   
   @dag(
       dag_id="ssh_operator_example",
       schedule_interval=None,     
       start_date=datetime(2022, 1, 1),
       catchup=False,
       )
   def ssh_dag():
       task_1=SSHOperator(
           task_id="ssh_task",
           ssh_conn_id='ssh_new',
           command='hostname',
       )
   
   my_ssh_dag = ssh_dag()

3. Execute o seguinte comando AWS CLI para copiar o DAG para o bucket do seu ambiente e, em seguida, acionar o DAG usando a IU do Apache Airflow.

   $ aws s3 cp your-dag.py s3://your-environment-bucket/dags/

4. Se tiver êxito, você verá uma saída semelhante à seguinte nos logs de tarefas para ssh_task no DAG ssh_operator_example:

   [2022-01-01, 12:00:00 UTC] {{base.py:79}} INFO - Using connection to: id: ssh_new. Host: 12.345.67.89, Port: None,
   Schema: , Login: ec2-user, Password: None, extra: {'key_file': '/usr/local/airflow/dags/your-secret-key.pem'}
   [2022-01-01, 12:00:00 UTC] {{ssh.py:264}} WARNING - Remote Identification Change is not verified. This won't protect against Man-In-The-Middle attacks
   [2022-01-01, 12:00:00 UTC] {{ssh.py:270}} WARNING - No Host Key Verification. This won't protect against Man-In-The-Middle attacks
   [2022-01-01, 12:00:00 UTC] {{transport.py:1819}} INFO - Connected (version 2.0, client OpenSSH_7.4)
   [2022-01-01, 12:00:00 UTC] {{transport.py:1819}} INFO - Authentication (publickey) successful!
   [2022-01-01, 12:00:00 UTC] {{ssh.py:139}} INFO - Running command: hostname
   [2022-01-01, 12:00:00 UTC]{{ssh.py:171}} INFO - ip-123-45-67-89.us-west-2.compute.internal
   [2022-01-01, 12:00:00 UTC] {{taskinstance.py:1280}} INFO - Marking task as SUCCESS. dag_id=ssh_operator_example, task_id=ssh_task, execution_date=20220712T200914, start_date=20220712T200915, end_date=20220712T200916