Diferenças e considerações sobre o Hive na Amazon EMR

Para transmitir valores variáveis em etapas do Hive usando o console

1. Abra o EMR console da Amazon em https://console.aws.amazon.com/emr.

2. Selecione Criar cluster.

3. Na seção Steps (Etapas), para Add Step (Adicionar etapa), escolha Hive Program (Programa Hive) na lista e depois Configure and add (Configurar e adicionar).

4. Na caixa de diálogo Add Step (Adicionar etapa), especifique os parâmetros usando a tabela a seguir como guia e escolha Add (Adicionar).

   Campo	Ação
   Localização do script no S3*	Especifique URI onde seu script reside no Amazon S3. O valor deve estar no formato BucketName/path/ScriptName. Por exemplo:s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q.
   Localização do S3 de entrada	Opcionalmente, especifique URI onde seus arquivos de entrada residem no Amazon S3. O valor deve estar no formato BucketName/path/. Se especificado, isso será passado para o script do Hive como um parâmetro chamadoINPUT. Por exemplo: s3://elasticmapreduce/samples/hive-ads/tables/.
   Local do S3 de saída	Opcionalmente, especifique URI onde você deseja que a saída seja armazenada no Amazon S3. O valor deve estar no formato BucketName/path. Se especificado, isso será passado para o script do Hive como um parâmetro chamadoOUTPUT. Por exemplo: s3://mybucket/hive-ads/output/.
   Argumentos	Opcionalmente, insira uma lista de argumentos (strings separadas por espaços) para transmitir ao Hive. Se você definiu uma variável de caminho em seu script do Hive chamada $ {SAMPLE}, por exemplo: CREATE EXTERNAL TABLE logs (requestBeginTime STRING, requestEndTime STRING, hostname STRING) PARTITIONED BY (dt STRING) \ ROW FORMAT serde 'com.amazon.elasticmapreduce.JsonSerde' WITH SERDEPROPERTIES ( 'paths'='requestBeginTime, requestEndTime, hostname' ) LOCATION '${SAMPLE}/tables/impressions'; Para transmitir um valor para a variável, digite o seguinte na janela Arguments (Argumentos): -d SAMPLE=s3://elasticmapreduce/samples/hive-ads/.
   Ação em caso de falha	Isso determina o que faz o cluster em resposta a qualquer erro. Os valores possíveis para essa configuração são: Terminate cluster (Encerrar o cluster): se a etapa falhar, encerrar o cluster. Se o cluster tiver a proteção de encerramento ativada, o AND keep alive habilitado, ele não será encerrado. Cancel and wait (Cancelar e aguardar): se a etapa falhar, cancele as etapas restantes. Se o cluster tiver o keep alive habilitado, ele não será encerrado. Continue (Continuar): se a etapa falhar, continue na próxima etapa.

5. Selecione os valores conforme necessário e escolha Create cluster (Criar cluster).

Para passar valores variáveis para as etapas do Hive usando o AWS CLI

Para passar valores variáveis para as etapas do Hive usando o AWS CLI, use o --steps parâmetro e inclua uma lista de argumentos.

• nota

  Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

  aws emr create-cluster --name "Test cluster" --release-label emr-7.2.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=Hive,Name="Hive Program",ActionOnFailure=CONTINUE,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/response-time-stats.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://mybucket/hive-ads/output/,-d,SAMPLE=s3://elasticmapreduce/samples/hive-ads/]

  Para obter mais informações sobre o uso dos EMR comandos da Amazon no AWS CLI, consultehttps://docs.aws.amazon.com/cli/latest/reference/emr.

Para passar valores variáveis para as etapas do Hive usando o Java SDK

• O exemplo a seguir demonstra como passar variáveis em etapas usando o. SDK Para obter mais informações, consulte Classe StepFactory na AWS SDK for Java APIreferência.

  StepFactory stepFactory = new StepFactory();
  
     StepConfig runHive = new StepConfig()
       .withName("Run Hive Script")
       .withActionOnFailure("TERMINATE_JOB_FLOW")
       .withHadoopJarStep(stepFactory.newRunHiveScriptStep(“s3://mybucket/script.q”,
        Lists.newArrayList(“-d”,”LIB= s3://elasticmapreduce/samples/hive-ads/lib”));