Como criar de um plug-in personalizado com o Apache Hive e o Hadoop

No prompt de comando, navegue até o diretório em que você gostaria de criar seu plug-in. Por exemplo:

cd plugins

Baixe o Hadoop de um espelho, por exemplo:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

Baixe o Hive de um espelho, por exemplo:

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

Crie um diretório. Por exemplo:

mkdir hive_plugin

Extraia o Hadoop.

tar -xvzf hadoop-3.3.0.tar.gz -C hive_plugin

Extraia o Hive.

tar -xvzf apache-hive-3.1.2-bin.tar.gz -C hive_plugin

Em um prompt de comando, navegue até o diretório hive_plugin. Por exemplo:

cd hive_plugin

Copie o conteúdo da amostra de código a seguir e salve localmente como hive_plugin.py no diretório hive_plugin.

from airflow.plugins_manager import AirflowPlugin
import os
os.environ["JAVA_HOME"]="/usr/lib/jvm/jre"
os.environ["HADOOP_HOME"]='/usr/local/airflow/plugins/hadoop-3.3.0'
os.environ["HADOOP_CONF_DIR"]='/usr/local/airflow/plugins/hadoop-3.3.0/etc/hadoop'
os.environ["HIVE_HOME"]='/usr/local/airflow/plugins/apache-hive-3.1.2-bin'
os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/plugins/hadoop-3.3.0:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/bin:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
os.environ["CLASSPATH"] = os.getenv("CLASSPATH") + ":/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
class EnvVarPlugin(AirflowPlugin):                
    name = 'hive_plugin' 

Copie o conteúdo do texto a seguir e salve localmente como .airflowignore no diretório hive_plugin.

hadoop-3.3.0
apache-hive-3.1.2-bin

Em sua prompt linha de comando, navegue até o diretório hive_plugin da etapa anterior. Por exemplo:

cd hive_plugin

Compacte o conteúdo em sua pasta plugins.

zip -r ../hive_plugin.zip ./

No prompt de comando, navegue até o diretório em que o código do DAG está armazenado. Por exemplo:

cd dags

Copie o conteúdo da amostra de código a seguir e salve localmente como hive.py.

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

with DAG(dag_id="hive_test_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    hive_test = BashOperator(
        task_id="hive_test",
        bash_command='hive --help'
    )