Amazon EMR에서 Hive의 차이점 및 고려 사항

콘솔을 사용하여 변수 값을 Hive 단계로 전달하려면

1. https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

2. 클러스터 생성을 선택합니다.

3. Steps(단계) 섹션의 Add Step(단계 추가)에 있는 목록에서 Hive Program(Hive 프로그램)을 선택하고 Configure and add(구성 및 추가)를 선택합니다.

4. Add Step(단계 추가) 대화 상자에서 다음 표를 가이드로 사용하여 파라미터를 지정한 다음 Add(추가)를 선택합니다.

   필드	작업
   Script S3 location*	스크립트가 위치한 Amazon S3의 URI를 지정합니다. 값은 BucketName/path/ScriptName 형식이어야 합니다. 예: s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q.
   Input S3 location	선택적으로 입력 파일이 위치한 Amazon S3의 URI를 지정합니다. 값은 BucketName/path/ 형식이어야 합니다. 지정된 경우 이 값은 Hive 스크립트에 INPUT 이름의 파라미터로 전달됩니다. 예: s3://elasticmapreduce/samples/hive-ads/tables/.
   Output S3 location	선택적으로 출력을 저장할 Amazon S3의 URI를 지정합니다. 값은 BucketName/path 형식이어야 합니다. 지정된 경우 이 값은 Hive 스크립트에 OUTPUT 이름의 파라미터로 전달됩니다. 예: s3://amzn-s3-demo-bucket/hive-ads/output/.
   인수	또는 Hive에 전달할 인수 목록(공백으로 구분된 문자열)을 입력합니다. ${SAMPLE} 이름의 경로 변수를 Hive 스크립트에 정의한 경우, 예를 들면 다음과 같습니다. CREATE EXTERNAL TABLE logs (requestBeginTime STRING, requestEndTime STRING, hostname STRING) PARTITIONED BY (dt STRING) \ ROW FORMAT serde 'com.amazon.elasticmapreduce.JsonSerde' WITH SERDEPROPERTIES ( 'paths'='requestBeginTime, requestEndTime, hostname' ) LOCATION '${SAMPLE}/tables/impressions'; 변수 값을 전달하려면 Arguments(인수) 창에 다음을 입력합니다. -d SAMPLE=s3://elasticmapreduce/samples/hive-ads/.
   Action on Failure	이 옵션은 오류 발생 시 클러스터가 수행해야 할 동작을 결정합니다. 이 설정에 사용할 수 있는 값은 다음과 같습니다. 클러스터 종료: 단계가 실패할 경우 클러스터를 종료합니다. 클러스터에 종료 방지 기능과 연결 유지 기능이 활성화된 경우에는 클러스터가 종료되지 않습니다. 취소 및 대기: 단계가 실패할 경우 남은 단계를 취소합니다. 클러스터에 연결 유지 기능이 활성화된 경우에는 클러스터가 종료되지 않습니다. 계속: 단계가 실패할 경우 다음 단계가 계속 수행됩니다.

5. 필요에 따라 값을 선택하고 Create cluster(클러스터 생성)를 선택합니다.

AWS CLI를 사용하여 변수 값을 Hive 단계로 전달하는 방법

AWS CLI를 사용하여 변수 값을 Hive 단계로 전달하려면 --steps 파라미터를 사용하고 인수 목록을 포함합니다.

• 참고

  가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

  aws emr create-cluster --name "Test cluster" --release-label emr-7.3.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=Hive,Name="Hive Program",ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/,-d,SAMPLE=s3://elasticmapreduce/samples/hive-ads/]

  AWS CLI에서 Amazon EMR 명령 사용에 대한 자세한 내용은 https://docs.aws.amazon.com/cli/latest/reference/emr 섹션을 참조하세요.

Java SDK;를 사용하여 변수 값을 Hive 단계로 전달하려면

• 다음 예에서는 SDK를 사용하여 변수를 단계에 전달하는 방법을 보여 줍니다. 자세한 내용은 AWS SDK for Java API 참조에서 Class StepFactory를 참조하세요.

  StepFactory stepFactory = new StepFactory();
  
     StepConfig runHive = new StepConfig()
       .withName("Run Hive Script")
       .withActionOnFailure("TERMINATE_JOB_FLOW")
       .withHadoopJarStep(stepFactory.newRunHiveScriptStep(“s3://amzn-s3-demo-bucket/script.q”,
        Lists.newArrayList(“-d”,”LIB= s3://elasticmapreduce/samples/hive-ads/lib”));