Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de configuraciones de Hive al ejecutar trabajos de EMR sin servidor

Puede ejecutar trabajos de Hive en una aplicación con el parámetro type establecido en HIVE. Los trabajos deben ser compatibles con la versión de Hive compatible con la versión de lanzamiento de Amazon EMR. Por ejemplo, cuando ejecuta trabajos en una aplicación con Amazon EMR versión 6.6.0, su trabajo debe ser compatible con Apache Hive 3.1.2. Para obtener información sobre las versiones de la aplicación para cada versión, consulte Versiones lanzamiento de Amazon EMR sin servidor.

Parámetros de los trabajos de Hive

Al utilizar la API StartJobRun para ejecutar un trabajo de Hive, debe especificar los siguientes parámetros.

Rol de tiempo de ejecución de los trabajos de Hive

Utilice executionRoleArn para especificar el ARN del rol de IAM que la aplicación utiliza para ejecutar los trabajos de Hive. Este rol debe tener los siguientes permisos:

Si su trabajo de Hive lee o escribe datos en –o desde– otras fuentes de datos, especifique los permisos adecuados en este rol de IAM. Si no proporciona estos permisos al rol de IAM, es posible que su trabajo no funcione. Para obtener más información, consulte Roles en tiempo de ejecución de trabajo para Amazon EMR sin servidor.

Parámetros del controlador de los trabajos de Hive

Utilice jobDriver para proporcionar datos al trabajo. El parámetro del controlador de trabajo solo acepta un valor para el tipo de trabajo que desee ejecutar. Cuando se especifica hive como tipo de trabajo, EMR sin servidor pasa una consulta de Hive al parámetro jobDriver. Los trabajos de Hive tienen los parámetros siguientes:

Parámetro de anulación de la configuración de Hive

Utilice configurationOverrides para anular las propiedades de configuración a nivel de monitorización y de aplicación. Este parámetro es un objeto JSON con los dos campos siguientes:

Si pasa la misma configuración en una anulación de aplicación y en los parámetros de Hive, los parámetros de Hive tendrán prioridad. La siguiente lista clasifica las configuraciones de mayor a menor prioridad.

Para obtener más información sobre cómo declarar las configuraciones a nivel de aplicación y anular las configuraciones durante la ejecución de un trabajo, consulte Configuración predeterminada de aplicación para EMR sin servidor.

Propiedades de los trabajos de Hive

En la siguiente tabla se enumeran las propiedades obligatorias que debe configurar al enviar un trabajo de Hive.

La siguiente tabla enumera las propiedades opcionales de Hive y sus valores predeterminados que puede anular al enviar un trabajo de Hive.

Ejemplos de trabajos de Hive

El siguiente ejemplo de código muestra cómo ejecutar una consulta de Hive con la API StartJobRun.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

Puede encontrar ejemplos adicionales de cómo ejecutar trabajos de Hive en el repositorio de muestras sin servidor GitHub de EMR.