AWS Data Pipeline ya no está disponible para nuevos clientes. Los clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. [Más información](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/) Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Utilidades Los siguientes objetos de utilidad configuran otros objetos de canalización: **Topics** + [ShellScriptConfig](dp-object-shellscriptconfig.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Propiedad](dp-object-property.md) # ShellScriptConfig Utilízalo con una actividad para ejecutar un script de shell para preActivityTask Config y postActivityTask Config. Este objeto está disponible para [HadoopActivity[HiveActivity](dp-object-hiveactivity.md)](dp-object-hadoopactivity.md), [HiveCopyActivity](dp-object-hivecopyactivity.md), y [PigActivity](dp-object-pigactivity.md). Especifica un URI de S3 y una lista de argumentos para el script. ## Ejemplo A ShellScriptConfig con argumentos: ``` { "id" : "ShellScriptConfig_1”, "name" : “prescript”, "type" : "ShellScriptConfig", "scriptUri": “s3://my-bucket/shell-cleanup.sh”, "scriptArgument" : ["arg1","arg2"] } ``` ## Sintaxis Este objeto incluye los siguientes campos. **** | Campos opcionales | Description (Descripción) | Tipo de slot | | --- | --- | --- | | parent | Elemento principal del objeto actual del que se heredan los slots. | Objeto de referencia, por ejemplo, «parent»: \$1"ref»:» myBaseObject Id "\$1 | | scriptArgument | Una lista de argumentos que se van a usar con el script de shell. | Cadena | | scriptUri | El URI de script en Amazon S3 que se debe descargar y ejecutar. | Cadena | **** | Campos de tiempo de ejecución | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @version | Versión de la canalización con la que se creó el objeto. | Cadena | **** | Campos del sistema | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @error | Error al describir el objeto mal estructurado. | Cadena | | @pipelineId | ID de la canalización a la que pertenece este objeto. | Cadena | | @sphere | La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia, que ejecutan objetos de intento. | Cadena | # EmrConfiguration El EmrConfiguration objeto es la configuración utilizada para los clústeres de EMR con la versión 4.0.0 o superior. Las configuraciones (en forma de lista) son un parámetro de la llamada a la RunJobFlow API. La API de configuración de Amazon EMR toma una clasificación y propiedades. AWS Data Pipeline utiliza EmrConfiguration los objetos Property correspondientes para configurar una [EmrCluster](dp-object-emrcluster.md) aplicación como Hadoop, Hive, Spark o Pig en clústeres de EMR lanzados en una ejecución en canalización. Como la configuración solo se puede cambiar para los clústeres nuevos, no puedes proporcionar un EmrConfiguration objeto para los recursos existentes. Para obtener más información, consulte [https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/). ## Ejemplo El siguiente objeto de configuración establece las propiedades `io.file.buffer.size` y `fs.s3.block.size` en `core-site.xml`: ``` [ { "classification":"core-site", "properties": { "io.file.buffer.size": "4096", "fs.s3.block.size": "67108864" } } ] ``` La definición de objeto de canalización correspondiente utiliza un EmrConfiguration objeto y una lista de objetos Property en el `property` campo: ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` El siguiente ejemplo es una configuración anidada usada para establecer el entorno de Hadoop con la clasificación `hadoop-env`: ``` [ { "classification": "hadoop-env", "properties": {}, "configurations": [ { "classification": "export", "properties": { "YARN_PROXYSERVER_HEAPSIZE": "2396" } } ] } ] ``` El objeto de definición de la canalización correspondiente que usa esta configuración se muestra a continuación: ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.0.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "hadoop-env" } }, { "name": "hadoop-env", "id": "hadoop-env", "type": "EmrConfiguration", "classification": "hadoop-env", "configuration": { "ref": "export" } }, { "name": "export", "id": "export", "type": "EmrConfiguration", "classification": "export", "property": { "ref": "yarn-proxyserver-heapsize" } }, { "name": "yarn-proxyserver-heapsize", "id": "yarn-proxyserver-heapsize", "type": "Property", "key": "YARN_PROXYSERVER_HEAPSIZE", "value": "2396" }, ] } ``` El siguiente ejemplo modifica una propiedad específica de Hive para un clúster de EMR: ``` { "objects": [ { "name": "hivesite", "id": "hivesite", "type": "EmrConfiguration", "classification": "hive-site", "property": [ { "ref": "hive-client-timeout" } ] }, { "name": "hive-client-timeout", "id": "hive-client-timeout", "type": "Property", "key": "hive.metastore.client.socket.timeout", "value": "2400s" } ] } ``` ## Sintaxis Este objeto incluye los siguientes campos. **** | Campos obligatorios | Description (Descripción) | Tipo de slot | | --- | --- | --- | | clasificación | Clasificación de la configuración. | Cadena | **** | Campos opcionales | Description (Descripción) | Tipo de slot | | --- | --- | --- | | configuración | Subconfiguración de esta configuración. | Objeto de referencia, por ejemplo, «configuración»: \$1"ref»:» myEmrConfiguration Id "\$1 | | parent | Elemento principal del objeto actual del que se heredarán los slots. | Objeto de referencia, por ejemplo, «parent»: \$1"ref»:» myBaseObject Id "\$1 | | propiedad | Propiedad de configuración. | Objeto de referencia, por ejemplo, «propiedad»: \$1"ref»:» myPropertyId «\$1 | **** | Campos de tiempo de ejecución | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @version | Versión de la canalización con la que se creó el objeto. | Cadena | **** | Campos del sistema | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @error | Error al describir el objeto mal estructurado. | Cadena | | @pipelineId | ID de la canalización a la que pertenece este objeto. | Cadena | | @sphere | La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia que ejecutan objetos de intento. | Cadena | ## Véase también + [EmrCluster](dp-object-emrcluster.md) + [Propiedad](dp-object-property.md) + [Guía de publicación de Amazon EMR](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/) # Propiedad Una propiedad clave-valor única para usar con un EmrConfiguration objeto. ## Ejemplo La siguiente definición de canalización muestra un EmrConfiguration objeto y los objetos Property correspondientes para lanzar un objeto: EmrCluster ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` ## Sintaxis Este objeto incluye los siguientes campos. **** | Campos obligatorios | Description (Descripción) | Tipo de slot | | --- | --- | --- | | clave | key | Cadena | | valor | valor | Cadena | **** | Campos opcionales | Description (Descripción) | Tipo de slot | | --- | --- | --- | | parent | Elemento principal del objeto actual del que se heredan los slots. | Objeto de referencia, por ejemplo, «parent»: \$1"ref»:» myBaseObject Id "\$1 | **** | Campos de tiempo de ejecución | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @version | Versión de la canalización con la que se creó el objeto. | Cadena | **** | Campos del sistema | Description (Descripción) | Tipo de slot | | --- | --- | --- | | @error | Error al describir el objeto mal estructurado. | Cadena | | @pipelineId | ID de la canalización a la que pertenece este objeto. | Cadena | | @sphere | La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia, que ejecutan objetos de intento. | Cadena | ## Véase también + [EmrCluster](dp-object-emrcluster.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Guía de publicación de Amazon EMR](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/)