As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trabalhos na Hive

Você pode executar trabalhos do Hive em um aplicativo com o type parâmetro definido como. HIVE Os trabalhos devem ser compatíveis com a versão do Hive compatível com a versão de EMR lançamento da Amazon. Por exemplo, quando você executa trabalhos em um aplicativo com a EMR versão 6.6.0 da Amazon, seu trabalho deve ser compatível com o Apache Hive 3.1.2. Para obter informações sobre as versões do aplicativo para cada versão, consulteVersões de EMR lançamento do Amazon Serverless.

Parâmetros de trabalho do Hive

Ao usar o StartJobRunAPIpara executar uma tarefa do Hive, você deve especificar os seguintes parâmetros.

Função de tempo de execução do trabalho do Hive

Use executionRoleArnpara especificar a ARN IAM função que seu aplicativo usa para executar trabalhos do Hive. Essa função deve conter as seguintes permissões:

Se sua tarefa do Hive ler ou gravar dados em ou de outras fontes de dados, especifique as permissões apropriadas nessa IAM função. Se você não fornecer essas permissões para a IAM função, seu trabalho poderá falhar. Para obter mais informações, consulte Funções de tempo de execução de trabalho para Amazon EMR Serverless.

Parâmetro do driver de trabalho do Hive

Use jobDriverpara fornecer informações para o trabalho. O parâmetro do driver de trabalho aceita somente um valor para o tipo de trabalho que você deseja executar. Quando você especifica hive como o tipo de tarefa, o EMR Serverless passa uma consulta do Hive para o parâmetro. jobDriver Os trabalhos do Hive têm os seguintes parâmetros:

Parâmetro de substituição da configuração do Hive

Use configurationOverridespara substituir as propriedades de configuração no nível de monitoramento e no nível do aplicativo. Esses parâmetros aceitam um JSON objeto com os dois campos a seguir:

Se você passar a mesma configuração em uma substituição de aplicativo e nos parâmetros do Hive, os parâmetros do Hive terão prioridade. A lista a seguir classifica as configurações da prioridade mais alta para a prioridade mais baixa.

Para obter mais informações sobre como declarar configurações no nível do aplicativo e substituir configurações durante a execução do trabalho, consulte. Configuração padrão do aplicativo para EMR Serverless

Propriedades de trabalho em Hive

A tabela a seguir lista as propriedades obrigatórias que você deve configurar ao enviar uma tarefa do Hive.

A tabela a seguir lista as propriedades opcionais do Hive e seus valores padrão que você pode substituir ao enviar um trabalho do Hive.

Exemplos de empregos no Hive

O exemplo de código a seguir mostra como executar uma consulta do Hive com o. StartJobRun API

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

Você pode encontrar exemplos adicionais de como executar trabalhos do Hive no repositório EMRServerless Samples. GitHub