Mengonfigurasi Tez

Anda dapat menyesuaikan Tez dengan menetapkan nilai-nilai menggunakan tez-site konfigurasi klasifikasi, yang mengkonfigurasi pengaturan di tez-site.xml file konfigurasi. Untuk informasi lebih lanjut, lihat TezConfigurationdi dokumentasi Apache Tez. Untuk mengubah Hive atau Pig untuk menggunakan mesin eksekusi Tez, gunakan hive-site dan pig-properties klasifikasi konfigurasi yang sesuai. Contoh ditunjukkan di bawah ini.

Contoh konfigurasi

aws emr create-cluster --release-label emr-7.7.0 \
--applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json --use-default-roles

[
    {
      "Classification": "tez-site",
      "Properties": {
        "tez.am.log.level": "DEBUG"
      }
    },
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.execution.engine": "tez"
      }
    },
    {
      "Classification": "pig-properties",
      "Properties": {
        "exectype": "tez"
      }
    }
  ]

Pembukaan split asinkron Tez

Ketika ada sejumlah besar file kecil di jalur tabel, dan kueri mencoba untuk membaca semuanya, setiap file kecil yang sesuai dengan setiap pemisahan individu digabungkan di bawah satu pemisahan yang dikelompokkan Tez. Sebuah mapper tunggal kemudian memproses pemisahan yang dikelompokkan Tez tunggal. Karena eksekusi sinkron, setiap pemisahan individu di bawah pemisahan yang dikelompokkan akan diproses satu per satu. Ini membutuhkan RecordReader objek untuk memproses pemisahan secara sinkron.

Benchmarking untuk pembukaan split asinkron Tez

Kami menggunakan lingkungan dan konfigurasi berikut untuk membandingkan kemampuan pembukaan terpisah asinkron Tez: