Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasi metastore

Metastore Hive adalah lokasi terpusat yang menyimpan informasi struktural tentang tabel Anda, termasuk skema, nama partisi, dan tipe data. Dengan EMR Tanpa Server, Anda dapat mempertahankan metadata tabel ini dalam metastore yang memiliki akses ke pekerjaan Anda.

Anda memiliki dua opsi untuk metastore Hive:

Menggunakan Katalog Data AWS Glue sebagai metastore

Anda dapat mengonfigurasi pekerjaan Spark dan Hive Anda untuk menggunakan Katalog Data AWS Glue sebagai metastore. Kami merekomendasikan konfigurasi ini ketika Anda memerlukan metastore persisten atau metastore yang dibagikan oleh berbagai aplikasi, layanan, atau. Akun AWS Untuk informasi selengkapnya tentang Katalog Data, lihat Mengisi Katalog Data AWS Glue. Untuk informasi tentang harga AWS Glue, lihat harga AWS Glue.

Anda dapat mengonfigurasi pekerjaan EMR Tanpa Server Anda untuk menggunakan Katalog Data AWS Glue baik yang Akun AWS sama dengan aplikasi Anda, atau yang berbeda. Akun AWS

Konfigurasikan Katalog Data AWS Glue

Untuk mengkonfigurasi Katalog Data, pilih jenis aplikasi EMR Tanpa Server yang ingin Anda gunakan.

Spark

Saat Anda menggunakan EMR Studio untuk menjalankan pekerjaan Anda dengan aplikasi EMR Serverless Spark, AWS Glue Data Catalog adalah metastore default.

Saat Anda menggunakan SDKs atau AWS CLI, Anda dapat mengatur spark.hadoop.hive.metastore.client.factory.class konfigurasi ke com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory dalam sparkSubmit parameter menjalankan pekerjaan Anda. Contoh berikut menunjukkan cara mengkonfigurasi Katalog Data dengan AWS CLI.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/code/pyspark/extreme_weather.py",
            "sparkSubmitParameters": "--conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf spark.driver.cores=1 --conf spark.driver.memory=3g --conf spark.executor.cores=4 --conf spark.executor.memory=3g"
        }
    }'

Atau, Anda dapat mengatur konfigurasi ini ketika Anda membuat yang baru SparkSession dalam kode Spark Anda.

from pyspark.sql import SparkSession

spark = (
    SparkSession.builder.appName("SparkSQL")
    .config(
        "spark.hadoop.hive.metastore.client.factory.class",
        "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
    )
    .enableHiveSupport()
    .getOrCreate()
)

# we can query tables with SparkSQL
spark.sql("SHOW TABLES").show()

# we can also them with native Spark
print(spark.catalog.listTables())

Hive

Untuk aplikasi EMR Serverless Hive, Katalog Data adalah metastore default. Artinya, ketika Anda menjalankan pekerjaan pada aplikasi EMR Serverless Hive, Hive mencatat informasi metastore di Katalog Data sama dengan aplikasi Anda. Akun AWS Anda tidak memerlukan virtual private cloud (VPC) untuk menggunakan Katalog Data sebagai metastore Anda.

Untuk mengakses tabel metastore Hive, tambahkan kebijakan Glue yang diperlukan yang diuraikan dalam Menyiapkan IAM Izin untuk AWS Glue. AWS

Konfigurasikan akses lintas akun untuk Katalog EMR Data Tanpa Server dan Glue AWS

Untuk mengatur akses lintas akun untuk EMR Tanpa Server, Anda harus terlebih dahulu masuk ke yang berikut: Akun AWS

Pertimbangan saat menggunakan Katalog Data AWS Glue

Anda dapat menambahkan tambahan JARs dengan ADD JAR skrip Hive Anda. Untuk pertimbangan tambahan, lihat Pertimbangan saat menggunakan AWS Glue Data Catalog.

Menggunakan metastore Hive eksternal

Anda dapat mengonfigurasi pekerjaan Spark dan Hive EMR Tanpa Server untuk terhubung ke metastore Hive eksternal, seperti Amazon Aurora atau Amazon for My. RDS SQL Bagian ini menjelaskan cara menyiapkan metastore Amazon RDS Hive, mengonfigurasiVPC, dan mengonfigurasi pekerjaan EMR Tanpa Server untuk menggunakan metastore eksternal.

Buat metastore Hive eksternal

Konfigurasikan opsi Spark

Menggunakan JDBC

Untuk mengonfigurasi aplikasi EMR Serverless Spark agar terhubung ke metastore Hive berdasarkan instans Amazon for RDS My atau SQL Amazon Aurora My, gunakan koneksi. SQL JDBC Lewati mariadb-connector-java.jar dengan --jars dalam spark-submit parameter lari pekerjaan Anda.

aws emr-serverless start-job-run \
  --application-id "application-id" \
  --execution-role-arn "job-role-arn" \
  --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/scripts/spark-jdbc.py",
            "sparkSubmitParameters": "--jars s3://amzn-s3-demo-bucket/mariadb-connector-java.jar 
            --conf spark.hadoop.javax.jdo.option.ConnectionDriverName=org.mariadb.jdbc.Driver 
            --conf spark.hadoop.javax.jdo.option.ConnectionUserName=<connection-user-name> 
            --conf spark.hadoop.javax.jdo.option.ConnectionPassword=<connection-password>
            --conf spark.hadoop.javax.jdo.option.ConnectionURL=<JDBC-Connection-string> 
            --conf spark.driver.cores=2
            --conf spark.executor.memory=10G 
            --conf spark.driver.memory=6G 
            --conf spark.executor.cores=4"
        }
    }' \
    --configuration-overrides '{
        "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/spark/logs/"
        }
    }
}'

Contoh kode berikut adalah skrip entrypoint Spark yang berinteraksi dengan metastore Hive di Amazon. RDS

from os.path import expanduser, join, abspath
from pyspark.sql import SparkSession
from pyspark.sql import Row
# warehouse_location points to the default location for managed databases and tables
warehouse_location = abspath('spark-warehouse')
spark = SparkSession \
    .builder \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("SHOW DATABASES").show()
spark.sql("CREATE EXTERNAL TABLE `sampledb`.`sparknyctaxi`(`dispatching_base_num` string, `pickup_datetime` string, `dropoff_datetime` string, `pulocationid` bigint, `dolocationid` bigint, `sr_flag` bigint) STORED AS PARQUET LOCATION 's3://<s3 prefix>/nyctaxi_parquet/'")
spark.sql("SELECT count(*) FROM sampledb.sparknyctaxi").show()
spark.stop()

Menggunakan layanan hemat

Anda dapat mengonfigurasi aplikasi EMR Serverless Hive untuk terhubung ke metastore Hive berdasarkan instans Amazon for RDS My atau SQL Amazon Aurora My. SQL Untuk melakukan ini, jalankan server penghematan pada node master dari cluster Amazon EMR yang ada. Opsi ini sangat ideal jika Anda sudah memiliki EMR cluster Amazon dengan server hemat yang ingin Anda gunakan untuk menyederhanakan konfigurasi pekerjaan Tanpa EMR Server Anda.

aws emr-serverless start-job-run \
  --application-id "application-id" \
  --execution-role-arn "job-role-arn" \
  --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/thriftscript.py",
            "sparkSubmitParameters": "--jars s3://amzn-s3-demo-bucket/mariadb-connector-java.jar 
            --conf spark.driver.cores=2
            --conf spark.executor.memory=10G 
            --conf spark.driver.memory=6G 
            --conf spark.executor.cores=4"
        }
    }' \
    --configuration-overrides '{
        "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/spark/logs/"
        }
    }
}'

Contoh kode berikut adalah entrypoint script (thriftscript.py) yang menggunakan protokol hemat untuk terhubung ke metastore Hive. Perhatikan bahwa hive.metastore.uris properti perlu disetel untuk membaca dari metastore Hive eksternal.

from os.path import expanduser, join, abspath
from pyspark.sql import SparkSession
from pyspark.sql import Row
# warehouse_location points to the default location for managed databases and tables
warehouse_location = abspath('spark-warehouse')
spark = SparkSession \
    .builder \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .config("hive.metastore.uris","thrift://thrift-server-host:thift-server-port") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("SHOW DATABASES").show()
spark.sql("CREATE EXTERNAL TABLE sampledb.`sparknyctaxi`( `dispatching_base_num` string, `pickup_datetime` string, `dropoff_datetime` string, `pulocationid` bigint, `dolocationid` bigint, `sr_flag` bigint) STORED AS PARQUET LOCATION 's3://<s3 prefix>/nyctaxi_parquet/'")
spark.sql("SELECT * FROM sampledb.sparknyctaxi").show()
spark.stop()

Konfigurasikan opsi Hive

Menggunakan JDBC

Jika Anda ingin menentukan lokasi database Hive eksternal pada instans Amazon RDS My SQL atau Amazon Aurora, Anda dapat mengganti konfigurasi metastore default.

Atur konfigurasi berikut dalam hive-site klasifikasi untuk mengaktifkan metastore Hive eksternal.

{
    "classification": "hive-site",
    "properties": {
        "hive.metastore.client.factory.class": "org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionURL": "jdbc:mysql://db-host:db-port/db-name",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
    }
}

Menggunakan server penghematan

Anda dapat mengonfigurasi aplikasi EMR Serverless Hive Anda untuk terhubung ke metastore Hive berdasarkan Amazon untuk RDS My atau SQL Amazon Aurora M. ySQLinstance Untuk melakukan ini, jalankan server barang bekas di node utama cluster Amazon EMR yang ada. Opsi ini sangat ideal jika Anda sudah memiliki EMR cluster Amazon yang menjalankan server barang bekas dan Anda ingin menggunakan konfigurasi pekerjaan Tanpa EMR Server Anda.

Atur konfigurasi berikut dalam hive-site klasifikasi sehingga EMR Tanpa Server dapat mengakses metastore penghematan jarak jauh. Perhatikan bahwa Anda harus mengatur hive.metastore.uris properti untuk dibaca dari metastore Hive eksternal.

{
    "classification": "hive-site",
    "properties": {
        "hive.metastore.client.factory.class": "org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory",
        "hive.metastore.uris": "thrift://thrift-server-host:thirft-server-port"
    }
} 

Pertimbangan saat menggunakan metastore eksternal