アプリケーションの設定

アプリケーションのデフォルトの設定を上書きするために、設定オブジェクトを指定できます。短縮構文を使用して設定を指定するか、JSON ファイルの設定オブジェクトを参照することができます。設定オブジェクトは、分類、プロパティ、オプションの入れ子になっている設定で構成されます。プロパティは、変更するアプリケーション設定に対応します。単一の JSON オブジェクトで、複数のアプリケーションに複数の分類を指定できます。

Amazon EMR リリースバージョンによって使用可能な設定分類は異なります。特定のリリースバージョンでサポートされている設定分類のリストについては、「Amazon EMR リリースについて」にあるそのリリースバージョンのページを参照してください。

設定の一覧の JSON ファイル例を次に示します。

[
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.security.groups.cache.secs": "250"
    }
  },
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapred.tasktracker.map.tasks.maximum": "2",
      "mapreduce.map.sort.spill.percent": "0.90",
      "mapreduce.tasktracker.reduce.tasks.maximum": "5"
    }
  }
]

設定分類は、多くの場合アプリケーション固有の設定ファイルにマップします。たとえば、hive-site 分類は Hive の hive-site.xml 設定ファイルの設定にマッピングされます。この例外には、--namenode-heap-size のような環境パラメータの設定に使用される、サポートされなくなったブートストラップアクション configure-daemons があります。このようなオプションはそれ自身の下位エクスポート分類とともに、hadoop-env および yarn-env 分類の中に入れ子になっています。env で終わる分類には、下位エクスポート分類を使用してください。

もう 1 つの例外として s3get があり、これはクライアント側の暗号化で使用するために、クラスター内の各ノードに顧客の EncryptionMaterialsProvider オブジェクトを配置するのに使用されます。この用途には、emrfs-site 分類にオプションが追加されています。

hadoop-env 分類の例を次に示します。

[
  {
    "Classification": "hadoop-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "HADOOP_DATANODE_HEAPSIZE": "2048",
          "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

yarn-env 分類の例を次に示します。

[
  {
    "Classification": "yarn-env",
    "Properties": {
      
    },
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket"
        },
        "Configurations": [
          
        ]
      }
    ]
  }
]

次の設定は設定ファイルに属しませんが、ユーザーに代わって複数の設定を構成できるようにするために Amazon EMR が使用します。