Configurar aplicações

Para substituir as configurações padrão de uma aplicação, você pode fornecer um objeto de configuração. Você pode usar uma sintaxe abreviada para fornecer a configuração ou referenciar o objeto de configuração em um arquivo JSON. Os objetos de configuração consistem em uma classificação, propriedades e configurações opcionais aninhadas As propriedades correspondem às configurações da aplicação que você deseja alterar. Você pode especificar várias classificações para diversas aplicações em um único objeto JSON.

As classificações de configuração disponíveis variam de acordo com a versão do Amazon EMR. Para obter uma lista das classificações de configuração compatíveis com determinada versão, consulte a página da versão em Sobre as versões do Amazon EMR.

Veja a seguir um exemplo de arquivo JSON para uma lista de configurações.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Uma classificação de configuração geralmente é mapeada para um arquivo de configuração específico do aplicativo. Por exemplo, a classificação hive-site é mapeada para as configurações no arquivo de configuração hive-site.xml para o Hive. Uma exceção para isso é a ação de bootstrap configure-daemons, que já não tem mais suporte, que é usada para definir parâmetros de ambiente, como --namenode-heap-size. Opções como esta são incluídas nas classificações hadoop-env e yarn-env com suas próprias classificações de exportação aninhadas. Se qualquer classificação terminar com env, use a subclassificação de exportação.

Outra exceção é s3get, que é usado para colocar um objeto EncryptionMaterialsProvider cliente em cada nó de um cluster para uso na criptografia do lado do cliente. Uma opção foi adicionada à classificação emrfs-site para essa finalidade.

Veja a seguir um exemplo da classificação hadoop-env.

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Veja a seguir um exemplo da classificação yarn-env.

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

As configurações a seguir não pertencem a um arquivo de configuração, mas são usadas pelo Amazon EMR para configurar potencialmente várias configurações em seu nome.