EmrConfiguration - AWS Data Pipeline
EjemploSintaxisVéase también

AWS Data Pipeline ya no está disponible para nuevos clientes. Clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

EmrConfiguration

El EmrConfiguration objeto es la configuración utilizada para EMR los clústeres con la versión 4.0.0 o superior. Las configuraciones (en forma de lista) son un parámetro de la RunJobFlow API llamada. La configuración API de Amazon EMR incluye una clasificación y propiedades. AWS Data Pipeline utiliza EmrConfiguration los objetos Property correspondientes para configurar una EmrCluster aplicación como Hadoop, Hive, Spark o Pig en EMR clústeres lanzados en una ejecución en proceso. Como la configuración solo se puede cambiar para los clústeres nuevos, no puedes proporcionar un EmrConfiguration objeto para los recursos existentes. Para obtener más información, consulte https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/.

Ejemplo

El siguiente objeto de configuración establece las propiedades io.file.buffer.size y fs.s3.block.size en core-site.xml:

[
   {  
      "classification":"core-site",
      "properties":
      {
         "io.file.buffer.size": "4096",
         "fs.s3.block.size": "67108864"
      }
   }
]

La definición de objeto de canalización correspondiente utiliza un EmrConfiguration objeto y una lista de objetos Property en el property campo:

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.1.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "coresite"
      }
    },
    {
      "name": "coresite",
      "id": "coresite",
      "type": "EmrConfiguration",
      "classification": "core-site",
      "property": [{
        "ref": "io-file-buffer-size"
      },
      {
        "ref": "fs-s3-block-size"
      }
      ]
    },
    {
      "name": "io-file-buffer-size",
      "id": "io-file-buffer-size",
      "type": "Property",
      "key": "io.file.buffer.size",
      "value": "4096"
    },
    {
      "name": "fs-s3-block-size",
      "id": "fs-s3-block-size",
      "type": "Property",
      "key": "fs.s3.block.size",
      "value": "67108864"
    }
  ]
}

El siguiente ejemplo es una configuración anidada usada para establecer el entorno de Hadoop con la clasificación hadoop-env:

[
  {
    "classification": "hadoop-env",
    "properties": {},
    "configurations": [
      {
        "classification": "export",
        "properties": {
          "YARN_PROXYSERVER_HEAPSIZE": "2396"
        }
      }
    ]
  }
]

El objeto de definición de la canalización correspondiente que usa esta configuración se muestra a continuación:

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.0.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "hadoop-env"
      }
    },
    {
      "name": "hadoop-env",
      "id": "hadoop-env",
      "type": "EmrConfiguration",
      "classification": "hadoop-env",
      "configuration": {
        "ref": "export"
      }
    },
    {
      "name": "export",
      "id": "export",
      "type": "EmrConfiguration",
      "classification": "export",
      "property": {
        "ref": "yarn-proxyserver-heapsize"
      }
    },
    {
      "name": "yarn-proxyserver-heapsize",
      "id": "yarn-proxyserver-heapsize",
      "type": "Property",
      "key": "YARN_PROXYSERVER_HEAPSIZE",
      "value": "2396"
    },
  ]
}

El siguiente ejemplo modifica una propiedad específica de Hive para un clúster: EMR

{
    "objects": [
        {
            "name": "hivesite",
            "id": "hivesite",
            "type": "EmrConfiguration",
            "classification": "hive-site",
            "property": [
                {
                    "ref": "hive-client-timeout"
                }
            ]
        },
        {
            "name": "hive-client-timeout",
            "id": "hive-client-timeout",
            "type": "Property",
            "key": "hive.metastore.client.socket.timeout",
            "value": "2400s"
        }
    ]
}

Sintaxis

Este objeto incluye los siguientes campos.

Campos obligatorios Descripción Tipo de slot
clasificación Clasificación de la configuración. Cadena

Campos opcionales Descripción Tipo de slot
configuración Subconfiguración de esta configuración. Objeto de referencia, por ejemplo, «configuration»: {"ref»:» myEmrConfiguration Id "}
parent Elemento principal del objeto actual del que se heredarán los slots. Objeto de referencia, por ejemplo, «parent»: {"ref»:» myBaseObject Id "}
property Propiedad de configuración. Objeto de referencia, por ejemplo, «propiedad»: {"ref»:» myPropertyId «}

Campos de tiempo de ejecución Descripción Tipo de slot
@version Versión de la canalización con la que se creó el objeto. Cadena

Campos del sistema Descripción Tipo de slot
@error Error al describir el objeto mal estructurado. Cadena
@pipelineId ID de la canalización a la que pertenece este objeto. Cadena
@sphere La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia que ejecutan objetos de intento. Cadena

Véase también