Perbedaan dan pertimbangan untuk Hive di Amazon EMR

Untuk lulus nilai variabel ke langkah-langkah Hive menggunakan konsol

1. Buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

2. Pilih Buat kluster.

3. Di bagian Langkah, untuk Tambahkan Langkah, pilih Program Hive dari daftar dan Konfigurasi dan tambahkan.

4. Di Tambahkan Langkah dialog, menentukan parameter menggunakan tabel berikut sebagai panduan, dan kemudian pilih Tambahkan.

   Bidang	Tindakan
   Lokasi Script S3*	Tentukan URI tempat skrip Anda berada di Amazon S3. Nilai harus dalam bentuk BucketName/path/ScriptName. Misalnya:s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q.
   Masukan lokasi S3	Secara opsional, tentukan URI tempat file input Anda berada di Amazon S3. Nilai harus dalam bentuk BucketName/path/. Jika ditentukan, ini akan diteruskan ke skrip Hive sebagai parameter bernamaINPUT. Sebagai contoh: s3://elasticmapreduce/samples/hive-ads/tables/.
   Lokasi Output S3	Secara opsional, tentukan di URI mana Anda ingin output disimpan di Amazon S3. Nilai harus dalam bentuk BucketName/path. Jika ditentukan, ini akan diteruskan ke skrip Hive sebagai parameter bernamaOUTPUT. Sebagai contoh: s3://amzn-s3-demo-bucket/hive-ads/output/.
   Pendapat	Opsional, masukkan daftar argumen (string dipisahkan spasi) untuk lulus ke Hive. Jika Anda mendefinisikan variabel jalur dalam skrip Hive Anda bernama $ {SAMPLE}, misalnya: CREATE EXTERNAL TABLE logs (requestBeginTime STRING, requestEndTime STRING, hostname STRING) PARTITIONED BY (dt STRING) \ ROW FORMAT serde 'com.amazon.elasticmapreduce.JsonSerde' WITH SERDEPROPERTIES ( 'paths'='requestBeginTime, requestEndTime, hostname' ) LOCATION '${SAMPLE}/tables/impressions'; Untuk lulus nilai untuk variabel, ketik berikut di PendapatJendela: -d SAMPLE=s3://elasticmapreduce/samples/hive-ads/.
   Tindakan pada Kegagalan	Ini menentukan apa cluster tidak dalam menanggapi kesalahan. Nilai yang mungkin untuk pengaturan ini adalah: Akhiri Gugus: Jika langkah gagal, mengakhiri gugus. Jika klaster memiliki perlindungan terminasi yang diaktifkan AND tetap hidup diaktifkan, itu tidak akan berakhir. Batalkan dan tunggu: Jika langkah gagal, membatalkan langkah-langkah yang tersisa. Jika gugus tetap hidup diaktifkan, gugus tidak akan mengakhiri. Lanjutkan: Jika langkah gagal, lanjutkan ke langkah berikutnya.

5. Pilih nilai yang diperlukan dan pilih Buat Cluster.

Untuk meneruskan nilai variabel ke langkah-langkah Hive menggunakan AWS CLI

Untuk meneruskan nilai variabel ke langkah-langkah Hive menggunakan AWS CLI, gunakan --steps parameter dan sertakan daftar argumen.

• catatan

  Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

  aws emr create-cluster --name "Test cluster" --release-label emr-7.3.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=Hive,Name="Hive Program",ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/,-d,SAMPLE=s3://elasticmapreduce/samples/hive-ads/]

  Untuk informasi selengkapnya tentang menggunakan EMR perintah Amazon di AWS CLI, lihathttps://docs.aws.amazon.com/cli/latest/reference/emr.

Untuk meneruskan nilai variabel ke langkah-langkah Hive menggunakan Java SDK

• Contoh berikut menunjukkan bagaimana untuk meneruskan variabel ke dalam langkah-langkah menggunakan. SDK Untuk informasi selengkapnya, lihat Kelas StepFactory dalam AWS SDK for Java APIReferensi.

  StepFactory stepFactory = new StepFactory();
  
     StepConfig runHive = new StepConfig()
       .withName("Run Hive Script")
       .withActionOnFailure("TERMINATE_JOB_FLOW")
       .withHadoopJarStep(stepFactory.newRunHiveScriptStep(“s3://amzn-s3-demo-bucket/script.q”,
        Lists.newArrayList(“-d”,”LIB= s3://elasticmapreduce/samples/hive-ads/lib”));