Configuration des applications

Pour remplacer les configurations par défaut d'une application, vous pouvez fournir un objet de configuration. Vous pouvez soit utiliser une syntaxe abrégée pour fournir la configuration, soit référencer l'objet de configuration dans un JSON fichier. Les objets de configuration sont composés d'une classification, de propriétés et de configurations imbriquées en option. Les propriétés correspondent aux paramètres de l'application que vous souhaitez modifier. Vous pouvez définir plusieurs classifications pour plusieurs applications dans un seul JSON objet.

Les classifications de configuration disponibles varient selon la EMR version d'Amazon. Pour obtenir la liste des classifications de configuration prises en charge dans une version de version particulière, reportez-vous à la page de cette version sous À propos d'Amazon EMR Releases.

Voici un exemple de JSON fichier pour une liste de configurations.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Une classification de configuration correspond généralement à un fichier de configuration spécifique à l'application. Par exemple, la classification hive-site est mappée aux paramètres du fichier de configuration hive-site.xml pour Hive. Une exception à cette règle est l'action d'amorçage configure-daemons, qui n'est plus prise en charge et qui est utilisée pour définir des paramètres d'environnement tels que --namenode-heap-size. Les options de ce type sont intégrées dans les classifications hadoop-env et yarn-env avec leurs propres classifications d'exportation imbriquées. Si des classifications se terminent par env, utilisez la sous-classification d'exportation.

s3get est une autre exception qui est utilisée pour placer un objet EncryptionMaterialsProvider client sur chaque nœud d'un cluster pour l'utiliser dans le chiffrement côté client. Une option a été ajoutée à la classification emrfs-site à cet effet.

Voici un exemple de la classification hadoop-env.

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Voici un exemple de la classification yarn-env.

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Les paramètres suivants n'appartiennent pas à un fichier de configuration mais sont utilisés par Amazon EMR pour éventuellement configurer plusieurs paramètres en votre nom.