AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peuvent continuer à utiliser le service normalement. [En savoir plus](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/) Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Utilitaires Les objets d'utilitaire suivants configurent les autres objets du pipeline : **Topics** + [ShellScriptConfig](dp-object-shellscriptconfig.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Propriété](dp-object-property.md) # ShellScriptConfig À utiliser avec une activité pour exécuter un script shell pour preActivityTask Config et postActivityTask Config. Cet objet est disponible pour [HadoopActivity[HiveActivity](dp-object-hiveactivity.md)](dp-object-hadoopactivity.md), [HiveCopyActivity](dp-object-hivecopyactivity.md), et [PigActivity](dp-object-pigactivity.md). Vous pouvez spécifier un URI S3 et une liste d'arguments pour le script. ## Exemple A ShellScriptConfig avec des arguments : ``` { "id" : "ShellScriptConfig_1”, "name" : “prescript”, "type" : "ShellScriptConfig", "scriptUri": “s3://my-bucket/shell-cleanup.sh”, "scriptArgument" : ["arg1","arg2"] } ``` ## Syntaxe Cet objet inclut les champs suivants. **** | Champs facultatifs | Description | Type d'option | | --- | --- | --- | | parent | Parent de l'objet actuel à partir duquel les emplacements sont hérités. | Objet de référence, par exemple, « parent » : \$1"ref » : » myBaseObject Id "\$1 | | scriptArgument | Liste d'arguments à utiliser avec le script shell. | String | | scriptUri | URI du script dans Amazon S3 qui doit être téléchargé et exécuté. | String | **** | Champs liés à l'exécution | Description | Type d'option | | --- | --- | --- | | @Version | Version du pipeline avec laquelle l'objet a été créé. | String | **** | Champs système | Description | Type d'option | | --- | --- | --- | | @error | Erreur décrivant l'objet mal formé. | String | | @pipelineId | ID du pipeline auquel l'objet appartient. | String | | @sphere | La sphère d'un objet désigne sa place dans le cycle de vie : les objets « composant » entraînent les objets « instance », qui exécutent les objets « tentative ». | String | # EmrConfiguration L' EmrConfiguration objet est la configuration utilisée pour les clusters EMR avec les versions 4.0.0 ou supérieures. Les configurations (sous forme de liste) sont un paramètre de l'appel RunJobFlow d'API. L'API de configuration pour Amazon EMR utilise une classification et des propriétés. AWS Data Pipeline utilise EmrConfiguration avec les objets Property correspondants pour configurer une [EmrCluster](dp-object-emrcluster.md) application telle que Hadoop, Hive, Spark ou Pig sur des clusters EMR lancés lors d'une exécution de pipeline. Comme la configuration ne peut être modifiée que pour les nouveaux clusters, vous ne pouvez pas fournir d' EmrConfiguration objet pour les ressources existantes. Pour de plus amples informations, veuillez consulter [https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/). ## Exemple L'objet de configuration suivant définit les propriétés `io.file.buffer.size` et `fs.s3.block.size` dans `core-site.xml` : ``` [ { "classification":"core-site", "properties": { "io.file.buffer.size": "4096", "fs.s3.block.size": "67108864" } } ] ``` La définition d'objet de pipeline correspondante utilise un EmrConfiguration objet et une liste d'objets Property dans le `property` champ : ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` L'exemple suivant illustre une configuration imbriquée utilisée pour définir l'environnement Hadoop avec la classification `hadoop-env` : ``` [ { "classification": "hadoop-env", "properties": {}, "configurations": [ { "classification": "export", "properties": { "YARN_PROXYSERVER_HEAPSIZE": "2396" } } ] } ] ``` L'objet de définition de pipeline correspondant qui utilise cette configuration se trouve ci-après : ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.0.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "hadoop-env" } }, { "name": "hadoop-env", "id": "hadoop-env", "type": "EmrConfiguration", "classification": "hadoop-env", "configuration": { "ref": "export" } }, { "name": "export", "id": "export", "type": "EmrConfiguration", "classification": "export", "property": { "ref": "yarn-proxyserver-heapsize" } }, { "name": "yarn-proxyserver-heapsize", "id": "yarn-proxyserver-heapsize", "type": "Property", "key": "YARN_PROXYSERVER_HEAPSIZE", "value": "2396" }, ] } ``` L'exemple suivant modifie une propriété spécifique à Hive pour un cluster EMR : ``` { "objects": [ { "name": "hivesite", "id": "hivesite", "type": "EmrConfiguration", "classification": "hive-site", "property": [ { "ref": "hive-client-timeout" } ] }, { "name": "hive-client-timeout", "id": "hive-client-timeout", "type": "Property", "key": "hive.metastore.client.socket.timeout", "value": "2400s" } ] } ``` ## Syntaxe Cet objet inclut les champs suivants. **** | Champs obligatoires | Description | Type d'option | | --- | --- | --- | | classification | Classification de la configuration. | String | **** | Champs facultatifs | Description | Type d'option | | --- | --- | --- | | configuration | Sous-configuration de la configuration. | Objet de référence, par exemple « configuration » : \$1"ref » : » myEmrConfiguration Id "\$1 | | parent | Parent de l'objet actuel à partir duquel les emplacements sont hérités. | Objet de référence, par exemple « parent » : \$1"ref » : » myBaseObject Id "\$1 | | property | Propriété de configuration | Objet de référence, par exemple « property » : \$1"ref » : » myPropertyId «\$1 | **** | Champs liés à l'exécution | Description | Type d'option | | --- | --- | --- | | @Version | Version du pipeline avec laquelle l'objet été créé. | String | **** | Champs système | Description | Type d'option | | --- | --- | --- | | @error | Erreur décrivant l'objet mal formé. | String | | @pipelineId | Id du pipeline auquel l'objet appartient. | String | | @sphere | La sphère d'un objet désigne sa place dans le cycle de vie : les objets « composant » entraînent les objets « instance » qui exécutent les objets « tentative » | String | ## Voir aussi + [EmrCluster](dp-object-emrcluster.md) + [Propriété](dp-object-property.md) + [Amazon EMR Guide de version](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/) # Propriété Propriété clé-valeur unique à utiliser avec un EmrConfiguration objet. ## Exemple La définition de pipeline suivante montre un EmrConfiguration objet et les objets Property correspondants pour lancer un EmrCluster : ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` ## Syntaxe Cet objet inclut les champs suivants. **** | Champs obligatoires | Description | Type d'option | | --- | --- | --- | | clé | key | Chaîne | | value | value | String | **** | Champs facultatifs | Description | Type d'option | | --- | --- | --- | | parent | Parent de l'objet actuel à partir duquel les emplacements sont hérités. | Objet de référence, par exemple, « parent » : \$1"ref » : » myBaseObject Id "\$1 | **** | Champs liés à l'exécution | Description | Type d'option | | --- | --- | --- | | @Version | Version du pipeline avec laquelle l'objet a été créé. | String | **** | Champs système | Description | Type d'option | | --- | --- | --- | | @error | Erreur décrivant l'objet mal formé. | String | | @pipelineId | ID du pipeline auquel l'objet appartient. | String | | @sphere | La sphère d'un objet désigne sa place dans le cycle de vie : les objets « composant » entraînent les objets « instance », qui exécutent les objets « tentative ». | String | ## Voir aussi + [EmrCluster](dp-object-emrcluster.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Amazon EMR Guide de version](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/)