本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Metastore 組態

Hive 中繼存放區是集中位置，可存放資料表的結構資訊，包括結構描述、分割區名稱和資料類型。使用 EMR Serverless，您可以在可存取任務的中繼存放區中保留此資料表中繼資料。

Hive 中繼存放區有兩個選項：

使用 AWS Glue Data Catalog 作為中繼存放區

您可以設定 Spark 和 Hive 任務使用 AWS Glue Data Catalog 作為其中繼存放區。當您需要持續的中繼存放區或不同應用程式、服務或 共用的中繼存放區時，建議您使用此組態 AWS 帳戶。如需 Data Catalog 的詳細資訊，請參閱填入 AWS Glue Data Catalog 。如需 AWS Glue 定價的相關資訊，請參閱 AWS Glue 定價。

您可以將 EMR Serverless 任務設定為在 AWS 帳戶 與應用程式相同的 或不同的 中使用 AWS Glue Data Catalog AWS 帳戶。

設定 AWS Glue Data Catalog

若要設定 Data Catalog，請選擇您要使用的無EMR伺服器應用程式類型。

Spark

當您使用 EMR Studio 搭配 EMR Serverless Spark 應用程式執行任務時， AWS Glue Data Catalog 是預設中繼存放區。

使用 SDKs或 時 AWS CLI，您可以在任務執行的sparkSubmit參數com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory中將spark.hadoop.hive.metastore.client.factory.class組態設定為 。下列範例示範如何使用 設定 Data Catalog AWS CLI。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/code/pyspark/extreme_weather.py",
            "sparkSubmitParameters": "--conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf spark.driver.cores=1 --conf spark.driver.memory=3g --conf spark.executor.cores=4 --conf spark.executor.memory=3g"
        }
    }'

或者，您可以在 Spark 程式碼SparkSession中建立新的 時設定此組態。

from pyspark.sql import SparkSession

spark = (
    SparkSession.builder.appName("SparkSQL")
    .config(
        "spark.hadoop.hive.metastore.client.factory.class",
        "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
    )
    .enableHiveSupport()
    .getOrCreate()
)

# we can query tables with SparkSQL
spark.sql("SHOW TABLES").show()

# we can also them with native Spark
print(spark.catalog.listTables())

Hive

對於 EMR Serverless Hive 應用程式，Data Catalog 是預設中繼存放區。也就是說，當您在 EMR Serverless Hive 應用程式上執行任務時，Hive 會在 AWS 帳戶 與您應用程式相同的 Data Catalog 中記錄中繼存放區資訊。您不需要虛擬私有雲端 （VPC） 即可使用資料目錄作為中繼存放區。

若要存取 Hive 中繼存放區資料表，請新增設定 AWS Glue IAM許可 中概述的必要 AWS Glue 政策。

設定無EMR伺服器和 AWS Glue Data Catalog 的跨帳戶存取

若要設定 EMR Serverless 的跨帳戶存取權，您必須先登入下列 AWS 帳戶：

使用 AWS Glue Data Catalog 時的考量

您可以在 Hive 指令碼JARsADD JAR中使用 新增輔助。如需其他考量，請參閱使用 AWS Glue Data Catalog 時的考量。

使用外部 Hive 中繼存放區

您可以設定EMR您的 Serverless Spark 和 Hive 任務以連線至外部 Hive 中繼存放區，例如 Amazon Aurora 或 Amazon RDS for My SQL。本節說明如何設定 Amazon RDS Hive 中繼存放區、設定您的 VPC，以及設定無EMR伺服器任務以使用外部中繼存放區。

建立外部 Hive 中繼存放區

設定 Spark 選項

使用 JDBC

若要設定您的 EMR Serverless Spark 應用程式以根據 Amazon RDS for MySQL 或 Amazon Aurora MySQL 執行個體連線至 Hive 中繼存放區，請使用 JDBC連線。在任務執行的spark-submit參數--jars中傳遞 mariadb-connector-java.jar 與 。

aws emr-serverless start-job-run \
  --application-id "application-id" \
  --execution-role-arn "job-role-arn" \
  --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/scripts/spark-jdbc.py",
            "sparkSubmitParameters": "--jars s3://amzn-s3-demo-bucket/mariadb-connector-java.jar 
            --conf spark.hadoop.javax.jdo.option.ConnectionDriverName=org.mariadb.jdbc.Driver 
            --conf spark.hadoop.javax.jdo.option.ConnectionUserName=<connection-user-name> 
            --conf spark.hadoop.javax.jdo.option.ConnectionPassword=<connection-password>
            --conf spark.hadoop.javax.jdo.option.ConnectionURL=<JDBC-Connection-string> 
            --conf spark.driver.cores=2
            --conf spark.executor.memory=10G 
            --conf spark.driver.memory=6G 
            --conf spark.executor.cores=4"
        }
    }' \
    --configuration-overrides '{
        "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/spark/logs/"
        }
    }
}'

下列程式碼範例是與 Amazon 上的 Hive 中繼存放區互動的 Spark 入門指令碼RDS。

from os.path import expanduser, join, abspath
from pyspark.sql import SparkSession
from pyspark.sql import Row
# warehouse_location points to the default location for managed databases and tables
warehouse_location = abspath('spark-warehouse')
spark = SparkSession \
    .builder \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("SHOW DATABASES").show()
spark.sql("CREATE EXTERNAL TABLE `sampledb`.`sparknyctaxi`(`dispatching_base_num` string, `pickup_datetime` string, `dropoff_datetime` string, `pulocationid` bigint, `dolocationid` bigint, `sr_flag` bigint) STORED AS PARQUET LOCATION 's3://<s3 prefix>/nyctaxi_parquet/'")
spark.sql("SELECT count(*) FROM sampledb.sparknyctaxi").show()
spark.stop()

使用 thrift 服務

您可以設定 EMR Serverless Hive 應用程式以根據 Amazon RDS for MySQL 或 Amazon Aurora MySQL 執行個體連線至 Hive 中繼存放區。若要執行此操作，請在現有 Amazon EMR叢集的主節點上執行 thrift 伺服器。如果您已經擁有具有要用來簡化 Serverless 任務組態之 thrift EMR 伺服器的 Amazon EMR叢集，則此選項是理想的選擇。

aws emr-serverless start-job-run \
  --application-id "application-id" \
  --execution-role-arn "job-role-arn" \
  --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/thriftscript.py",
            "sparkSubmitParameters": "--jars s3://amzn-s3-demo-bucket/mariadb-connector-java.jar 
            --conf spark.driver.cores=2
            --conf spark.executor.memory=10G 
            --conf spark.driver.memory=6G 
            --conf spark.executor.cores=4"
        }
    }' \
    --configuration-overrides '{
        "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/spark/logs/"
        }
    }
}'

下列程式碼範例是入門指令碼 （thriftscript.py），使用 thrift 通訊協定連線到 Hive 中繼存放區。請注意， hive.metastore.uris 屬性需要設定為從外部 Hive 中繼存放區讀取。

from os.path import expanduser, join, abspath
from pyspark.sql import SparkSession
from pyspark.sql import Row
# warehouse_location points to the default location for managed databases and tables
warehouse_location = abspath('spark-warehouse')
spark = SparkSession \
    .builder \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .config("hive.metastore.uris","thrift://thrift-server-host:thift-server-port") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("SHOW DATABASES").show()
spark.sql("CREATE EXTERNAL TABLE sampledb.`sparknyctaxi`( `dispatching_base_num` string, `pickup_datetime` string, `dropoff_datetime` string, `pulocationid` bigint, `dolocationid` bigint, `sr_flag` bigint) STORED AS PARQUET LOCATION 's3://<s3 prefix>/nyctaxi_parquet/'")
spark.sql("SELECT * FROM sampledb.sparknyctaxi").show()
spark.stop()

設定 Hive 選項

使用 JDBC

如果您想要在 Amazon RDS MySQL 或 Amazon Aurora 執行個體上指定外部 Hive 資料庫位置，您可以覆寫預設中繼存放區組態。

在 hive-site分類中設定下列組態，以啟用外部 Hive 中繼存放區。

{
    "classification": "hive-site",
    "properties": {
        "hive.metastore.client.factory.class": "org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionURL": "jdbc:mysql://db-host:db-port/db-name",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
    }
}

使用 thrift 伺服器

您可以設定 EMR Serverless Hive 應用程式，以根據 Amazon RDS for MySQL 或 Amazon Aurora M 連線到 Hive 中繼存放區ySQLinstance。若要執行此操作，請在現有 Amazon EMR叢集的主節點上執行 thrift 伺服器。如果您已經有執行 thrift 伺服器的 Amazon EMR叢集，並且想要使用 EMR Serverless 任務組態，則此選項是理想的選擇。

在 hive-site分類中設定下列組態，以便 EMR Serverless 存取遠端 thrift 中繼存放區。請注意，您必須將 hive.metastore.uris 屬性設定為從外部 Hive 中繼存放區讀取。

{
    "classification": "hive-site",
    "properties": {
        "hive.metastore.client.factory.class": "org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory",
        "hive.metastore.uris": "thrift://thrift-server-host:thirft-server-port"
    }
} 

使用外部中繼存放區時的考量事項