AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. [Pelajari selengkapnya](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/) Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Utilitas Objek utilitas berikut mengonfigurasi objek alur lainnya: **Topics** + [ShellScriptConfig](dp-object-shellscriptconfig.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Properti](dp-object-property.md) # ShellScriptConfig Gunakan dengan Aktivitas untuk menjalankan skrip shell untuk preActivityTask Config dan Config postActivityTask. Objek ini tersedia untuk [HadoopActivity](dp-object-hadoopactivity.md), [HiveActivity](dp-object-hiveactivity.md), [HiveCopyActivity](dp-object-hivecopyactivity.md), dan [PigActivity](dp-object-pigactivity.md). Anda menentukan URI S3 dan daftar argumen untuk script. ## Contoh A ShellScriptConfig dengan argumen: ``` { "id" : "ShellScriptConfig_1”, "name" : “prescript”, "type" : "ShellScriptConfig", "scriptUri": “s3://my-bucket/shell-cleanup.sh”, "scriptArgument" : ["arg1","arg2"] } ``` ## Sintaksis Objek ini mencakup bidang berikut. **** | Bidang Opsional | Deskripsi | Jenis Slot | | --- | --- | --- | | induk | Induk dari objek saat ini dari mana slot diwariskan. | Objek Referensi, misalnya, “induk”: \$1"ref”:” myBaseObject Id "\$1 | | scriptArgument | Daftar argumen untuk digunakan dengan script shell. | String | | scriptUri | Script URI di Amazon S3 yang harus diunduh dan dijalankan. | String | **** | Bidang Runtime | Deskripsi | Jenis Slot | | --- | --- | --- | | @version | Versi alur tempat objek dibuat. | String | **** | Bidang Sistem | Deskripsi | Jenis Slot | | --- | --- | --- | | @error | Galat menggambarkan objek yang tidak terbentuk. | String | | @pipelineId | ID dari alur tempat objek ini berada. | String | | @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects, yang mengeksekusi Attempt Objects. | String | # EmrConfiguration EmrConfiguration Objek adalah konfigurasi yang digunakan untuk cluster EMR dengan rilis 4.0.0 atau lebih besar. Konfigurasi (sebagai daftar) adalah parameter untuk panggilan RunJobFlow API. API konfigurasi untuk Amazon EMR mengambil klasifikasi dan properti. AWS Data Pipeline menggunakan EmrConfiguration dengan objek Properti yang sesuai untuk mengkonfigurasi [EmrCluster](dp-object-emrcluster.md) aplikasi seperti Hadoop, Hive, Spark, atau Pig pada cluster EMR diluncurkan dalam eksekusi pipeline. Karena konfigurasi hanya dapat diubah untuk cluster baru, Anda tidak dapat menyediakan EmrConfiguration objek untuk sumber daya yang ada. Untuk informasi selengkapnya, lihat [https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/). ## Contoh Objek konfigurasi berikut menetapkan properti `io.file.buffer.size` dan `fs.s3.block.size` di `core-site.xml`: ``` [ { "classification":"core-site", "properties": { "io.file.buffer.size": "4096", "fs.s3.block.size": "67108864" } } ] ``` Definisi objek pipeline yang sesuai menggunakan EmrConfiguration objek dan daftar objek Properti di `property` bidang: ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` Contoh berikut adalah konfigurasi bersarang yang digunakan untuk mengatur lingkungan Hadoop dengan klasifikasi `hadoop-env`: ``` [ { "classification": "hadoop-env", "properties": {}, "configurations": [ { "classification": "export", "properties": { "YARN_PROXYSERVER_HEAPSIZE": "2396" } } ] } ] ``` Objek definisi alur yang sesuai yang menggunakan konfigurasi ini adalah di bawah ini: ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.0.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "hadoop-env" } }, { "name": "hadoop-env", "id": "hadoop-env", "type": "EmrConfiguration", "classification": "hadoop-env", "configuration": { "ref": "export" } }, { "name": "export", "id": "export", "type": "EmrConfiguration", "classification": "export", "property": { "ref": "yarn-proxyserver-heapsize" } }, { "name": "yarn-proxyserver-heapsize", "id": "yarn-proxyserver-heapsize", "type": "Property", "key": "YARN_PROXYSERVER_HEAPSIZE", "value": "2396" }, ] } ``` Contoh berikut memodifikasi properti khusus Hive untuk klaster EMR: ``` { "objects": [ { "name": "hivesite", "id": "hivesite", "type": "EmrConfiguration", "classification": "hive-site", "property": [ { "ref": "hive-client-timeout" } ] }, { "name": "hive-client-timeout", "id": "hive-client-timeout", "type": "Property", "key": "hive.metastore.client.socket.timeout", "value": "2400s" } ] } ``` ## Sintaksis Objek ini mencakup bidang berikut. **** | Bidang yang Wajib Diisi | Deskripsi | Jenis Slot | | --- | --- | --- | | klasifikasi | Klasifikasi untuk konfigurasi. | String | **** | Bidang Opsional | Deskripsi | Jenis Slot | | --- | --- | --- | | konfigurasi | Sub-konfigurasi untuk konfigurasi ini. | Objek Referensi, misalnya “konfigurasi”: \$1"ref”:” myEmrConfiguration Id "\$1 | | induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 | | properti | Properti konfigurasi. | Objek Referensi, misalnya “properti”: \$1"ref”:” myPropertyId “\$1 | **** | Bidang Runtime | Deskripsi | Jenis Slot | | --- | --- | --- | | @version | Versi alur objek dibuat dengan. | String | **** | Bidang Sistem | Deskripsi | Jenis Slot | | --- | --- | --- | | @error | Galat mendeskripsikan obyek yang tidak terbentuk | String | | @pipelineId | Id dari alur tempat objek ini berada | String | | @sphere | Lingkup dari sebuah objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects | String | ## Lihat Juga + [EmrCluster](dp-object-emrcluster.md) + [Properti](dp-object-property.md) + [Panduan Rilis Amazon EMR](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/) # Properti Sebuah properti kunci-nilai tunggal untuk digunakan dengan objek EmrConfiguration . ## Contoh Definisi pipeline berikut menunjukkan EmrConfiguration objek dan objek Properti terkait untuk meluncurkan EmrCluster: ``` { "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] } ``` ## Sintaksis Objek ini mencakup bidang berikut. **** | Bidang yang Wajib Diisi | Deskripsi | Jenis Slot | | --- | --- | --- | | kunci | kunci | String | | nilai | nilai | String | **** | Bidang Opsional | Deskripsi | Jenis Slot | | --- | --- | --- | | induk | Induk dari objek saat ini dari mana slot diwariskan. | Objek Referensi, misalnya, “induk”: \$1"ref”:” myBaseObject Id "\$1 | **** | Bidang Runtime | Deskripsi | Jenis Slot | | --- | --- | --- | | @version | Versi alur tempat objek dibuat. | String | **** | Bidang Sistem | Deskripsi | Jenis Slot | | --- | --- | --- | | @error | Galat menggambarkan objek yang tidak terbentuk. | String | | @pipelineId | ID dari alur tempat objek ini berada. | String | | @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects, yang mengeksekusi Attempt Objects. | String | ## Lihat Juga + [EmrCluster](dp-object-emrcluster.md) + [EmrConfiguration](dp-object-emrconfiguration.md) + [Panduan Rilis Amazon EMR](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/)