Configuración de aplicaciones

Para anular las configuraciones predeterminadas de una aplicación, puede subministrar un objeto de configuración. Puede utilizar una sintaxis abreviada para proporcionar la configuración o puede hacer referencia al objeto de configuración en un archivo. JSON Los objetos de configuración se componen de una clasificación, propiedades y configuraciones anidadas opcionales. Las propiedades corresponden a la configuración de la aplicación que desee cambiar. Puede especificar varias clasificaciones para varias aplicaciones en un único objeto. JSON

Las clasificaciones de configuración disponibles varían según la versión de EMR lanzamiento de Amazon. Para obtener una lista de las clasificaciones de configuración compatibles con una versión de lanzamiento concreta, consulte la página correspondiente a esa versión en la sección Acerca de Amazon EMR Releases.

El siguiente es un JSON archivo de ejemplo para una lista de configuraciones.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Una clasificación de configuración suele corresponderse con un archivo de configuración específico de la aplicación. Por ejemplo, la clasificación hive-site se corresponde con los valores del archivo de configuración hive-site.xml de Hive. Una excepción es la acción de arranque configure-daemons ya no admitida, que se utiliza para establecer parámetros de entorno como --namenode-heap-size. Las opciones de este tipo se engloban en las clasificaciones hadoop-env y yarn-env con sus propias clasificaciones de exportación anidadas. Si alguna clasificación termina por env, debe utilizar la subclasificación de exportación.

Otra excepción es s3get, que se utiliza para colocar un objeto EncryptionMaterialsProvider del cliente en cada nodo de un clúster para su uso en cifrado del cliente. Se ha añadido una opción a la clasificación emrfs-site para este fin.

A continuación se muestra un ejemplo de la clasificación hadoop-env.

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

A continuación se muestra un ejemplo de la clasificación yarn-env.

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Los siguientes ajustes no pertenecen a un archivo de configuración, pero Amazon los utiliza EMR para configurar varios ajustes en tu nombre.