Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configuración de aplicaciones
Para anular las configuraciones predeterminadas de una aplicación, puede subministrar un objeto de configuración. Puede utilizar una sintaxis abreviada para proporcionar la configuración o puede hacer referencia al objeto de configuración en un archivo. JSON Los objetos de configuración se componen de una clasificación, propiedades y configuraciones anidadas opcionales. Las propiedades corresponden a la configuración de la aplicación que desee cambiar. Puede especificar varias clasificaciones para varias aplicaciones en un único objeto. JSON
aviso
Las API operaciones EMR Describe y List de Amazon emiten ajustes personalizados y configurables, que se utilizan como parte de los flujos de EMR trabajo de Amazon, en texto plano. Para incluir información confidencial, como contraseñas, en estas configuraciones, consulte Almacenamiento de datos de configuración confidenciales en AWS Secrets Manager.
Las clasificaciones de configuración disponibles varían según la versión de EMR lanzamiento de Amazon. Para obtener una lista de las clasificaciones de configuración compatibles con una versión de lanzamiento concreta, consulte la página correspondiente a esa versión en la sección Acerca de Amazon EMR Releases.
El siguiente es un JSON archivo de ejemplo para una lista de configuraciones.
[ { "Classification": "core-site", "Properties": { "hadoop.security.groups.cache.secs": "250" } }, { "Classification": "mapred-site", "Properties": { "mapred.tasktracker.map.tasks.maximum": "2", "mapreduce.map.sort.spill.percent": "0.90", "mapreduce.tasktracker.reduce.tasks.maximum": "5" } } ]
Una clasificación de configuración suele corresponderse con un archivo de configuración específico de la aplicación. Por ejemplo, la clasificación hive-site
se corresponde con los valores del archivo de configuración hive-site.xml
de Hive. Una excepción es la acción de arranque configure-daemons
ya no admitida, que se utiliza para establecer parámetros de entorno como --namenode-heap-size
. Las opciones de este tipo se engloban en las clasificaciones hadoop-env
y yarn-env
con sus propias clasificaciones de exportación anidadas. Si alguna clasificación termina por env
, debe utilizar la subclasificación de exportación.
Otra excepción es s3get
, que se utiliza para colocar un objeto EncryptionMaterialsProvider
del cliente en cada nodo de un clúster para su uso en cifrado del cliente. Se ha añadido una opción a la clasificación emrfs-site
para este fin.
A continuación se muestra un ejemplo de la clasificación hadoop-env
.
[ { "Classification": "hadoop-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" }, "Configurations": [ ] } ] } ]
A continuación se muestra un ejemplo de la clasificación yarn-env.
[ { "Classification": "yarn-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket" }, "Configurations": [ ] } ] } ]
Los siguientes ajustes no pertenecen a un archivo de configuración, pero Amazon los utiliza EMR para configurar varios ajustes en tu nombre.
Ajustes seleccionados por Amazon EMR | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Aplicación | Clasificación de etiqueta de la versión | Propiedades válidas | Cuándo se debe usar | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Spark | spark |
maximizeResourceAllocation |
Configure ejecutores para utilizar los recursos máximos de cada nodo. |