Utiliser les propriétés Spark pour définir une configuration personnalisée - Amazon Athena
Utilisation de la console AthenaUtilisation de AWS CLI ou Athena API

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser les propriétés Spark pour définir une configuration personnalisée

Lorsque vous créez ou modifiez une session dans Amazon Athena pour Apache Spark, vous pouvez utiliser les propriétés Spark pour spécifier des fichiers .jar, des packages ou une autre configuration personnalisée pour la session. Pour définir vos propriétés Spark, vous pouvez utiliser la console Athena, AWS CLI, ou l'AthénaAPI.

Utilisez la console Athena pour définir les propriétés de Spark

Dans la console Athena, vous pouvez spécifier vos propriétés Spark lorsque vous créez un bloc-notes ou modifiez une session en cours.

Pour ajouter des propriétés dans la boîte de dialogue Créer un bloc-notes ou Modifier les détails de la session

  1. Développez les propriétés Spark.

  2. Pour ajouter vos propriétés, utilisez l'JSONoption Modifier dans le tableau ou Modifier dans.

    • Pour l'option Modifier dans la table, choisissez Ajouter une propriété pour ajouter une propriété, ou choisissez Supprimer pour supprimer une propriété. Utilisez les champs Clé et Valeur pour saisir les noms des propriétés et leurs valeurs.

      • Pour ajouter un fichier .jar personnalisé, utilisez la propriété spark.jars.

      • Utilisez la propriété spark.jars.packages pour spécifier un fichier de package.

    • Pour saisir et modifier directement votre configuration, choisissez l'JSONoption Modifier dans. Dans l'éditeur de JSON texte, vous pouvez effectuer les tâches suivantes :

      • Choisissez Copier pour copier le JSON texte dans le presse-papiers.

      • Choisissez Effacer pour supprimer tout le texte de l'JSONéditeur.

      • Choisissez l'icône des paramètres (engrenage) pour configurer l'habillage des lignes ou choisissez un thème de couleur pour l'JSONéditeur.

Remarques

  • Vous pouvez définir des propriétés dans Athena pour Spark, ce qui revient à définir les propriétés de Spark directement sur un SparkConfobjet.

  • Commencez toutes les propriétés Spark par le préfixe spark.. Les propriétés comportant d'autres préfixes sont ignorées.

  • Les propriétés Spark ne sont pas toutes disponibles pour une configuration personnalisée sur Athena. Si vous soumettez une demande StartSession dont la configuration est restreinte, la session ne démarre pas.

    • Vous ne pouvez pas utiliser le préfixe spark.athena. car il est réservé.

Utilisez la commande AWS CLI ou Athena API pour fournir une configuration personnalisée

Pour utiliser le plugin AWS CLI ou Athena API pour configurer votre session, utilisez l'StartSessionAPIaction ou la commande CLIstart-session. Dans votre StartSession demande, utilisez le SparkProperties champ d'EngineConfigurationobjet pour transmettre vos informations de configuration au JSON format. Cela démarre une session avec la configuration spécifiée. Pour connaître la syntaxe des demandes, consultez StartSessionle manuel Amazon Athena API Reference.