Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des configurations Hive lorsque vous exécutez des tâches EMR sans serveur

Vous pouvez exécuter des tâches Hive sur une application dont le type paramètre est défini sur. HIVE Les tâches doivent être compatibles avec la version de Hive compatible avec la version de EMR lancement d'Amazon. Par exemple, lorsque vous exécutez des tâches sur une application avec Amazon EMR version 6.6.0, votre tâche doit être compatible avec Apache Hive 3.1.2. Pour plus d'informations sur les versions de l'application pour chaque version, consultezVersions publiées d'Amazon EMR Serverless.

Paramètres du job Hive

Lorsque vous utilisez le StartJobRunAPIpour exécuter une tâche Hive, vous devez spécifier les paramètres suivants.

Rôle d'exécution du job Hive

Utilisez executionRoleArnpour spécifier le ARN IAM rôle que votre application utilise pour exécuter les tâches Hive. Ce rôle doit contenir les autorisations suivantes :

Si votre tâche Hive lit ou écrit des données depuis ou vers d'autres sources de données, spécifiez les autorisations appropriées pour ce IAM rôle. Si vous n'accordez pas ces autorisations au IAM rôle, votre tâche risque d'échouer. Pour de plus amples informations, veuillez consulter Rôles d'exécution des tâches pour Amazon EMR Serverless.

Paramètre du pilote de tâche Hive

jobDriverÀ utiliser pour fournir des informations sur la tâche. Le paramètre du pilote de tâche n'accepte qu'une seule valeur pour le type de tâche que vous souhaitez exécuter. Lorsque vous spécifiez hive le type de tâche, EMR Serverless transmet une requête Hive au jobDriver paramètre. Les jobs Hive possèdent les paramètres suivants :

Paramètre de remplacement de la configuration Hive

configurationOverridesÀ utiliser pour remplacer les propriétés de configuration au niveau de la surveillance et au niveau de l'application. Ce paramètre accepte un JSON objet contenant les deux champs suivants :

Si vous transmettez la même configuration dans une dérogation d'application et dans les paramètres Hive, les paramètres Hive sont prioritaires. La liste suivante classe les configurations de la priorité la plus élevée à la plus faible.

Pour plus d'informations sur la déclaration de configurations au niveau de l'application et sur le remplacement de configurations lors de l'exécution d'une tâche, consultezConfiguration d'application par défaut pour EMR Serverless.

Propriétés des tâches Hive

Le tableau suivant répertorie les propriétés obligatoires que vous devez configurer lorsque vous soumettez une tâche Hive.

Le tableau suivant répertorie les propriétés optionnelles de Hive et leurs valeurs par défaut que vous pouvez remplacer lorsque vous soumettez une tâche Hive.

Exemples d'emplois chez Hive

L'exemple de code suivant montre comment exécuter une requête Hive avec le StartJobRunAPI.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

Vous trouverez d'autres exemples d'exécution de tâches Hive dans le référentiel EMRServerless Samples GitHub .