使用 Apache Hive 和 Hadoop 建立自訂外掛程式

在命令提示中，導覽至您要建立外掛程式的目錄。例如：

cd plugins

從鏡像下載 Hadoop，例如：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

從鏡像下載 Hive，例如：

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

建立目錄。例如：

mkdir hive_plugin

擷取 Hadoop。

tar -xvzf hadoop-3.3.0.tar.gz -C hive_plugin

擷取 Hive。

tar -xvzf apache-hive-3.1.2-bin.tar.gz -C hive_plugin

在命令提示中，導覽至 hive_plugin 目錄。例如：

cd hive_plugin

複製下列程式碼範例的內容，並在本機儲存為 hive_plugin.py hive_plugin目錄中的 。

from airflow.plugins_manager import AirflowPlugin
import os
os.environ["JAVA_HOME"]="/usr/lib/jvm/jre"
os.environ["HADOOP_HOME"]='/usr/local/airflow/plugins/hadoop-3.3.0'
os.environ["HADOOP_CONF_DIR"]='/usr/local/airflow/plugins/hadoop-3.3.0/etc/hadoop'
os.environ["HIVE_HOME"]='/usr/local/airflow/plugins/apache-hive-3.1.2-bin'
os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/plugins/hadoop-3.3.0:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/bin:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
os.environ["CLASSPATH"] = os.getenv("CLASSPATH") + ":/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
class EnvVarPlugin(AirflowPlugin):                
    name = 'hive_plugin' 

處理下列文字的內容，並在本機儲存為 .airflowignore hive_plugin目錄中的 。

hadoop-3.3.0
apache-hive-3.1.2-bin

在命令提示中，導覽至上一個步驟的hive_plugin目錄。例如：

cd hive_plugin

壓縮plugins資料夾中的內容。

zip -r ../hive_plugin.zip ./

在命令提示中，導覽至存放 DAG 程式碼的目錄。例如：

cd dags

複製下列程式碼範例的內容，並在本機儲存為 hive.py。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

with DAG(dag_id="hive_test_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    hive_test = BashOperator(
        task_id="hive_test",
        bash_command='hive --help'
    )