Amazon 上 Hive 的差異和考量 EMR

使用主控台將變數值傳遞至 Hive 步驟

1. 在 https://console.aws.amazon.com/emr 開啟 Amazon EMR主控台。

2. 選擇建立叢集。

3. 在 Steps (步驟) 區段，針對 Add Step (新增步驟)，從清單中選擇 Hive Program (Hive 程式) 和 Configure and add (設定和新增)。

4. 在 Add Step (新增步驟) 對話方塊中，使用下表做為指引指定參數，然後選擇 Add (新增)。

   欄位	動作
   S3 指令碼位置*	指定URI指令碼駐留在 Amazon S3 中的 。值必須為 格式 BucketName/path/ScriptName。 例如：s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q。
   S3 輸入位置	或者，指定輸入檔案駐留在 Amazon S3 中的 URI 。值必須為 格式 BucketName/path/。 如果指定，這將作為名為 的參數傳遞至 Hive 指令碼INPUT。例如：s3://elasticmapreduce/samples/hive-ads/tables/。
   S3 輸出位置	或者，指定您要在 Amazon S3 中存放輸出URI的位置。值必須為 格式 BucketName/path。 如果指定，這將作為名為 的參數傳遞至 Hive 指令碼OUTPUT。例如：s3://amzn-s3-demo-bucket/hive-ads/output/。
   引數	或者，輸入要傳遞至 Hive 的引數清單 (空格分隔字串)。如果您在名為 ${SAMPLE} 的 Hive 指令碼中定義了路徑變數，例如： CREATE EXTERNAL TABLE logs (requestBeginTime STRING, requestEndTime STRING, hostname STRING) PARTITIONED BY (dt STRING) \ ROW FORMAT serde 'com.amazon.elasticmapreduce.JsonSerde' WITH SERDEPROPERTIES ( 'paths'='requestBeginTime, requestEndTime, hostname' ) LOCATION '${SAMPLE}/tables/impressions'; 若要傳遞變數的值，在 Arguments (引數) 視窗中輸入以下內容： -d SAMPLE=s3://elasticmapreduce/samples/hive-ads/.
   失敗的動作	這會決定叢集對任何錯誤的回應。此設定可能的值包括： Terminate cluster (終止叢集)：如果步驟失敗，則終止叢集。如果叢集已啟用終止保護AND保持啟用狀態，則不會終止。 Cancel and wait (取消並等待)：如果步驟失敗，則取消剩餘步驟。如果叢集已啟用持續作用，則叢集將不會終止。 Continue (繼續)：如果步驟失敗，則繼續下一個步驟。

5. 選取必要的值，並選擇 Create cluster (建立叢集)。

使用 將變數值傳遞至 Hive 步驟 AWS CLI

若要使用 將變數值傳遞至 Hive 步驟 AWS CLI，請使用 --steps 參數並包含引數清單。

• 注意

  包含 Linux 行接續字元 (\) 是為了提高可讀性。它們可以在 Linux 命令中移除或使用。對於 Windows，請將其移除或取代為插入符號 (^)。

  aws emr create-cluster --name "Test cluster" --release-label emr-7.3.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=Hive,Name="Hive Program",ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/,-d,SAMPLE=s3://elasticmapreduce/samples/hive-ads/]

  如需在 中使用 Amazon EMR命令的詳細資訊 AWS CLI，請參閱 https://docs.aws.amazon.com/cli/latest/reference/emr。

使用 Java 將變數值傳遞至 Hive 步驟 SDK

• 下列範例示範如何使用 將變數傳遞至步驟SDK。如需詳細資訊，請參閱 AWS SDK for Java API 參考 中的類別 StepFactory。

  StepFactory stepFactory = new StepFactory();
  
     StepConfig runHive = new StepConfig()
       .withName("Run Hive Script")
       .withActionOnFailure("TERMINATE_JOB_FLOW")
       .withHadoopJarStep(stepFactory.newRunHiveScriptStep(“s3://amzn-s3-demo-bucket/script.q”,
        Lists.newArrayList(“-d”,”LIB= s3://elasticmapreduce/samples/hive-ads/lib”));