Amazon での Hive の違いと考慮事項 EMR

コンソールを使用して Hive のステップに変数値を渡すには

1. https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

2. [クラスターを作成] を選択します。

3. [Steps] セクションの [Add Step] で、リストから [Hive Program] を選択し、[Configure and add] を選択します。

4. [Add Step] ダイアログで、次の表を参考にしながらパラメータを指定し、[Add] を選択します。

   フィールド	アクション
   スクリプト S3 場所*	スクリプトURIが Amazon S3 に存在する を指定します。値は BucketName/path/ の形式である必要がありますScriptName。例: s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q。
   S3 の場所の入力	必要に応じて、URI入力ファイルが Amazon S3 に存在する を指定します。値は BucketName/path/ の形式である必要があります。指定すると、この値は INPUT という名前のパラメータとして Hive スクリプトに渡されます。例: s3://elasticmapreduce/samples/hive-ads/tables/。
   S3 の場所の出力	必要に応じて、出力を Amazon S3 に保存URIしたい を指定します。 Amazon S3 値は BucketName/ の形式である必要がありますpath。指定すると、この値は OUTPUT という名前のパラメータとして Hive スクリプトに渡されます。例: s3://amzn-s3-demo-bucket/hive-ads/output/。
   引数	引数のリスト（スペース区切りの文字列）を入力し、Hive に渡します（オプション）。${SAMPLE} という名前の Hive スクリプトでパス変数を定義した場合、次に例を示します。 CREATE EXTERNAL TABLE logs (requestBeginTime STRING, requestEndTime STRING, hostname STRING) PARTITIONED BY (dt STRING) \ ROW FORMAT serde 'com.amazon.elasticmapreduce.JsonSerde' WITH SERDEPROPERTIES ( 'paths'='requestBeginTime, requestEndTime, hostname' ) LOCATION '${SAMPLE}/tables/impressions'; 変数の値を渡すには、[Arguments] ウィンドウに次のように入力します。 -d SAMPLE=s3://elasticmapreduce/samples/hive-ads/.
   Action on Failure	エラーに反応しているクラスターを判断します。この設定に使用できる値は次のとおりです。 Terminate cluster: ステップが失敗した場合、クラスターを停止します。クラスターで終了保護が有効になっている場合、ANDキープアライブが有効になっていても、クラスターは終了しません。 Cancel and wait: ステップが失敗した場合、残りのステップをキャンセルします。クラスターのキープアライブが有効な場合、クラスターは停止されません。 Continue: ステップが失敗した場合、次のステップに進みます。

5. 必要に応じて値を選択し、[Create cluster] を選択します。

を使用して Hive ステップに変数値を渡すには AWS CLI

を使用して Hive ステップに変数値を渡すには AWS CLI、 --stepsパラメータを使用して引数リストを含めます。

• 注記

  読みやすくするために、Linux 行連続文字 (\) が含まれています。Linux コマンドでは、これらは削除することも、使用することもできます。Windows の場合、削除するか、キャレット (^) に置き換えてください。

  aws emr create-cluster --name "Test cluster" --release-label emr-7.5.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=Hive,Name="Hive Program",ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/,-d,SAMPLE=s3://elasticmapreduce/samples/hive-ads/]

  での Amazon EMR コマンドの使用の詳細については AWS CLI、「」を参照してくださいhttps://docs.aws.amazon.com/cli/latest/reference/emr。

Java を使用して Hive ステップに変数値を渡すには SDK

• 次の例は、 を使用して変数をステップに渡す方法を示していますSDK。詳細については、「 AWS SDK for Java APIリファレンス」の「Class StepFactory」を参照してください。

  StepFactory stepFactory = new StepFactory();
  
     StepConfig runHive = new StepConfig()
       .withName("Run Hive Script")
       .withActionOnFailure("TERMINATE_JOB_FLOW")
       .withHadoopJarStep(stepFactory.newRunHiveScriptStep(“s3://amzn-s3-demo-bucket/script.q”,
        Lists.newArrayList(“-d”,”LIB= s3://elasticmapreduce/samples/hive-ads/lib”));