Uso das configurações do Hive ao executar trabalhos do EMR Sem Servidor

Você pode executar trabalhos do Hive em uma aplicação com o parâmetro type definido como HIVE. Os trabalhos devem ser compatíveis com a versão do Hive compatível com a versão de lançamento do Amazon EMR. Por exemplo, quando você executa trabalhos em uma aplicação com o Amazon EMR versão 6.6.0, o trabalho deve ser compatível com o Apache Hive 3.1.2. Para obter informações sobre as versões da aplicação para cada versão, consulte Versões de lançamento do Amazon EMR Sem Servidor.

Parâmetros de trabalho do Hive

Ao usar a API StartJobRun para executar um trabalho do Hive, você deve especificar os parâmetros a seguir.

Perfil de runtime do trabalho do Hive

Use executionRoleArn para especificar o ARN do perfil do IAM que a aplicação usa para executar trabalhos do Hive. Esse perfil deve conter as seguintes permissões:

Se o trabalho do Hive ler ou gravar dados entre outras fontes de dados, especifique as permissões apropriadas nesse perfil do IAM. Se você não fornecer essas permissões ao perfil do IAM, seu trabalho poderá falhar. Para ter mais informações, consulte Perfis de runtime do trabalho para o Amazon EMR Sem Servidor.

Parâmetro do driver de trabalho do Hive

Use jobDriver para fornecer entradas ao trabalho. O parâmetro do driver do trabalho aceita somente um valor para o tipo de trabalho que você deseja executar. Quando você especifica hive como o tipo de trabalho, o EMR Sem Servidor passa uma consulta do Hive para o parâmetro jobDriver. Os trabalhos do Hive têm os seguintes parâmetros:

Parâmetro de substituição da configuração do Hive

Use configurationOverrides para substituir as propriedades de configuração no nível de monitoramento e no nível de aplicação. Esse parâmetro aceita um objeto JSON com os seguintes dois campos:

Se você transferir a mesma configuração em uma substituição de aplicação e nos parâmetros do Hive, os parâmetros do Hive terão prioridade. A lista a seguir classifica as configurações da prioridade mais alta para a mais baixa.

Para obter mais informações sobre como declarar configurações no nível da aplicação e substituir configurações durante a execução do trabalho, consulte Configuração padrão de aplicações do EMR Sem Servidor.

Propriedades do trabalho do Hive

A tabela a seguir lista as propriedades obrigatórias que você deve configurar ao enviar um trabalho do Hive.

A tabela a seguir lista as propriedades opcionais do Hive e seus valores padrão que você pode substituir ao enviar um trabalho do Hive.

Exemplos de trabalho do Hive

O exemplo de código a seguir mostra como executar uma consulta do Hive com a API StartJobRun.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

Você encontra exemplos adicionais de como executar trabalhos do Hive no repositório do GitHub EMR Serverless Samples.