Configurazione delle applicazioni

Per sovrascrivere le configurazioni predefinite per un'applicazione, puoi fornire un oggetto di configurazione. Puoi utilizzare una sintassi abbreviata per fornire la configurazione oppure puoi fare riferimento all'oggetto di configurazione in un file. JSON Gli oggetti di configurazione sono composti da una classificazione, proprietà e configurazioni nidificate opzionali. Le proprietà corrispondono alle impostazioni dell'applicazione che intendi utilizzare. È possibile specificare più classificazioni per più applicazioni in un unico oggetto. JSON

Le classificazioni di configurazione disponibili variano in base alla versione di EMR rilascio di Amazon. Per un elenco delle classificazioni di configurazione supportate in una versione di rilascio specifica, consulta la pagina della versione di rilascio in Informazioni su Amazon EMR Releases.

Di seguito è riportato un JSON file di esempio per un elenco di configurazioni.

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

Una classificazione di configurazione spesso esegue la mappatura a un file di configurazione specifico per l'applicazione. Ad esempio, la classificazione hive-site esegue la mappatura alle impostazioni nel file di configurazione hive-site.xml per Hive. Un'eccezione a questo esempio è l'operazione di bootstrap configure-daemons, non più supportata, che viene utilizzata per impostare parametri di ambiente come ad esempio --namenode-heap-size. Opzioni di questo genere sono inglobate nelle classificazioni hadoop-env e yarn-env con proprie classificazioni di esportazione nidificate. Se una classificazione termina in env, utilizza la classificazione secondaria di esportazione.

Un'altra eccezione è s3get, utilizzato per l'invio di un oggetto EncryptionMaterialsProvider del cliente in ogni nodo di un cluster per l'utilizzo nella crittografia lato client. A questo scopo è stata aggiunta un'opzione alla classificazione emrfs-site.

Di seguito è riportato un esempio della classificazione hadoop-env:

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Di seguito è riportato un esempio della classificazione yarn-env:

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

Le seguenti impostazioni non appartengono a un file di configurazione ma vengono utilizzate da Amazon EMR per configurare potenzialmente più impostazioni per tuo conto.