Apache Hive と Hadoop を使ったカスタムプラグインの作成

コマンドプロンプトで、プラグインを作成したいディレクトリに移動します。以下に例を示します。

cd plugins

ミラーから Hadoop をダウンロードします。例えば:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

ミラーから Hive をダウンロードします。例えば:

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

ディレクトリを作成します。以下に例を示します。

mkdir hive_plugin

Hadoop を抽出します。

tar -xvzf hadoop-3.3.0.tar.gz -C hive_plugin

Hive を抽出します。

tar -xvzf apache-hive-3.1.2-bin.tar.gz -C hive_plugin

コマンドプロンプトで、hive_plugin ディレクトリに移動します。以下に例を示します。

cd hive_plugin

次のコードサンプルの内容をコピーし、同じ hive_plugin ディレクトリで、hive_plugin.py と名前を付けてローカルに保存します。

from airflow.plugins_manager import AirflowPlugin
import os
os.environ["JAVA_HOME"]="/usr/lib/jvm/jre"
os.environ["HADOOP_HOME"]='/usr/local/airflow/plugins/hadoop-3.3.0'
os.environ["HADOOP_CONF_DIR"]='/usr/local/airflow/plugins/hadoop-3.3.0/etc/hadoop'
os.environ["HIVE_HOME"]='/usr/local/airflow/plugins/apache-hive-3.1.2-bin'
os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/plugins/hadoop-3.3.0:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/bin:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
os.environ["CLASSPATH"] = os.getenv("CLASSPATH") + ":/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
class EnvVarPlugin(AirflowPlugin):                
    name = 'hive_plugin' 

次のテキストの内容をコピーし、hive_plugin ディレクトリに .airflowignore としてローカルに保存します。

hadoop-3.3.0
apache-hive-3.1.2-bin

コマンドプロンプトで、前のステップの hive_plugin ディレクトリに移動します。以下に例を示します。

cd hive_plugin

plugins フォルダ内のコンテンツを圧縮します。

zip -r ../hive_plugin.zip ./

コマンドプロンプトで、DAG コードが保存されているディレクトリに移動します。以下に例を示します。

cd dags

以下のコードサンプルの内容をコピーし、ローカルに hive.py として保存します。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

with DAG(dag_id="hive_test_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    hive_test = BashOperator(
        task_id="hive_test",
        bash_command='hive --help'
    )