AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. [Pelajari selengkapnya](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/)
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Aktivitas
Berikut ini adalah objek AWS Data Pipeline aktivitas:
**Topics**
+ [CopyActivity](dp-object-copyactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
+ [HadoopActivity](dp-object-hadoopactivity.md)
+ [HiveActivity](dp-object-hiveactivity.md)
+ [HiveCopyActivity](dp-object-hivecopyactivity.md)
+ [PigActivity](dp-object-pigactivity.md)
+ [RedshiftCopyActivity](dp-object-redshiftcopyactivity.md)
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [SqlActivity](dp-object-sqlactivity.md)
# CopyActivity
Menyalin data dari satu lokasi ke lokasi lain. `CopyActivity`mendukung [S3 DataNode](dp-object-s3datanode.md) dan [SqlDataNode](dp-object-sqldatanode.md) sebagai input dan output dan operasi penyalinan biasanya dilakukan record-by-record. Namun, `CopyActivity` menyediakan performa tinggi Amazon S3 untuk salinan Amazon S3 ketika semua syarat berikut terpenuhi:
+ Input dan outputnya adalah S3 DataNodes
+ Bidang `dataFormat` adalah sama untuk input dan output
Jika Anda menyediakan file data terkompresi sebagai input dan tidak menunjukkan ini menggunakan bidang `compression` pada simpul data S3, `CopyActivity` mungkin gagal. Dalam kasus ini, `CopyActivity` tidak mendeteksi dengan benar akhir karakter catatan dan operasi gagal. Selanjutnya, `CopyActivity` mendukung penyalinan dari direktori ke direktori lain dan menyalin file ke direktori, tetapi record-by-record salinan terjadi ketika menyalin direktori ke file. Akhirnya, `CopyActivity` tidak men-support penyalinan file Amazon S3 multibagian.
`CopyActivity` memiliki keterbatasan khusus untuk support CSV nya. Saat Anda menggunakan S3 DataNode sebagai masukan`CopyActivity`, Anda hanya dapat menggunakan Unix/Linux varian format file data CSV untuk bidang input dan output Amazon S3. Unix/Linux Varian membutuhkan yang berikut:
+ Pemisah harus karakter "," (koma).
+ Catatan tidak dikutip.
+ Karakter escape default adalah nilai ASCII 92 (backslash).
+ Akhir dari pengidentifikasi catatan adalah nilai ASCII 10 (atau "\$1n").
Sistem berbasis Windows biasanya menggunakan urutan end-of-record karakter yang berbeda: carriage return dan line feed bersama-sama (nilai ASCII 13 dan nilai ASCII 10). Anda harus mengakomodasi perbedaan ini menggunakan mekanisme tambahan, seperti skrip pra-copy untuk memodifikasi input data, untuk memastikan bahwa `CopyActivity` dapat mendeteksi akhir dari sebuah catatan dengan benar; jika tidak, `CopyActivity` akan gagal berulang kali.
Saat menggunakan `CopyActivity` untuk mengekspor dari objek PostgreSQL RDS ke format data TSV, karakter NULL default adalah \$1n.
## Contoh
Berikut adalah contoh dari jenis objek ini. Objek ini mereferensikan tiga objek lain yang akan Anda tetapkan dalam file definisi alur yang sama. `CopyPeriod` adalah objek `Schedule` dan `InputData` dan `OutputData` adalah objek simpul data.
```
{
"id" : "S3ToS3Copy",
"type" : "CopyActivity",
"schedule" : { "ref" : "CopyPeriod" },
"input" : { "ref" : "InputData" },
"output" : { "ref" : "OutputData" },
"runsOn" : { "ref" : "MyEc2Resource" }
}
```
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: \$1"ref”: "“\$1. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Sumber daya komputasi untuk menjalankan aktivitas atau perintah. Misalnya, instans Amazon EC2 atau klaster Amazon EMR. | Objek Referensi, misalnya “RunsOn”: \$1"ref”:” “\$1 myResourceId |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel maka aktivitas jarak jauh yang tidak selesai dalam waktu mulai yang ditetapkan dapat dicoba lagi. | Periode |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali | Pencacahan |
| input | Sumber data input. | Objek Referensi, misalnya “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum percobaan ulang pada pelanggaran | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Sumber data output. | Objek Referensi, misalnya “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries. | Pencacahan |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai ketergantungan tempat objek gagal. | Objek Referensi, misalnya "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Log langkah EMR hanya tersedia pada upaya aktivitas EMR | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan waktu akhir untuk objek | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat mendeskripsikan obyek yang tidak terbentuk | String |
| @pipelineId | Id dari alur tempat objek ini berada | String |
| @sphere | Lingkup dari sebuah objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
+ [Ekspor Data MySQL ke Amazon S3 Menggunakan AWS Data Pipeline](dp-copydata-mysql.md)
# EmrActivity
Menjalankan klaster EMR.
AWS Data Pipeline menggunakan format yang berbeda untuk langkah-langkah dari Amazon EMR; misalnya, AWS Data Pipeline menggunakan argumen yang dipisahkan koma setelah nama JAR di bidang langkah. `EmrActivity` Contoh berikut menunjukkan langkah yang diformat untuk Amazon EMR, diikuti oleh AWS Data Pipeline nya yang setara:
```
s3://amzn-s3-demo-bucket/MyWork.jar arg1 arg2 arg3
```
```
"s3://amzn-s3-demo-bucket/MyWork.jar,arg1,arg2,arg3"
```
## Contoh
Berikut adalah contoh dari jenis objek ini. Contoh ini menggunakan versi lama Amazon EMR. Verifikasi contoh ini untuk kebenaran dengan versi klaster Amazon EMR yang Anda gunakan.
Objek ini mereferensikan tiga objek lain yang akan Anda tetapkan dalam file definisi alur yang sama. `MyEmrCluster` adalah objek `EmrCluster` dan `MyS3Input` dan `MyS3Output` adalah objek `S3DataNode`.
**catatan**
Dalam contoh ini, Anda dapat mengganti bidang `step` dengan rangkaian klaster yang Anda inginkan, yang bisa saja script Pig, klaster Hadoop streaming, JAR kustom Anda sendiri termasuk parameternya, atau sebagainya.
Hadoop 2.x (AMI 3.x)
```
{
"id" : "MyEmrActivity",
"type" : "EmrActivity",
"runsOn" : { "ref" : "MyEmrCluster" },
"preStepCommand" : "scp remoteFiles localFiles",
"step" : ["s3://amzn-s3-demo-bucket/myPath/myStep.jar,firstArg,secondArg,-files,s3://amzn-s3-demo-bucket/myPath/myFile.py,-input,s3://myinputbucket/path,-output,s3://myoutputbucket/path,-mapper,myFile.py,-reducer,reducerName","s3://amzn-s3-demo-bucket/myPath/myotherStep.jar,..."],
"postStepCommand" : "scp localFiles remoteFiles",
"input" : { "ref" : "MyS3Input" },
"output" : { "ref" : "MyS3Output" }
}
```
**catatan**
Untuk melewati argumen untuk aplikasi dalam langkah, Anda perlu menentukan Wilayah di jalur script, seperti dalam contoh berikut. Selain itu, Anda mungkin perlu melarikan diri dari argumen yang Anda lewati. Misalnya, jika Anda menggunakan `script-runner.jar` untuk menjalankan script dan ingin melewatkan argumen ke script, Anda harus melarikan diri koma yang memisahkan mereka. Slot langkah berikut menggambarkan cara melakukannya:
```
"step" : "s3://eu-west-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://datapipeline/echo.sh,a\\\\,b\\\\,c"
```
Langkah ini menggunakan `script-runner.jar` untuk menjalankan shell script `echo.sh` dan melewati `a`, `b`, dan `c` sebagai argumen tunggal untuk script. Karakter escape pertama dihapus dari argumen yang dihasilkan sehingga Anda mungkin perlu untuk melarikan diri lagi. Misalnya, jika Anda memiliki `File\.gz` sebagai sebuah argumen di JSON, anda bisa meloloskan diri menggunakan `File\\\\.gz`. Namun, karena escape pertama dibuang, Anda harus menggunakan `File\\\\\\\\.gz `.
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Tentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Anda dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan "schedule": \$1"ref": "DefaultSchedule"\$1. Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), Anda dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya, “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Klaster Amazon EMR di mana tugas ini akan berjalan. | Objek Referensi, misalnya, “RunsOn”: \$1"ref”:” myEmrCluster Id "\$1 |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya, “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| input | Lokasi data input. | Objek Referensi, misalnya, “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum upaya mencoba ulang pada kegagalan. | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya, “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya, "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya, “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Lokasi data output. | Objek Referensi, misalnya, “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya, “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI Amazon S3, seperti 's3://BucketName/Prefix/ 'untuk mengunggah log untuk pipeline. | String |
| postStepCommand | Shell script untuk dijalankan setelah semua langkah selesai. Untuk menentukan beberapa script, hingga 255, menambahkan beberapa bidang postStepCommand. | String |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya, “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| preStepCommand | Shell script untuk dijalankan sebelum langkah-langkah dijalankan. Untuk menentukan beberapa script, hingga 255, menambahkan beberapa bidang preStepCommand. | String |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| resizeClusterBeforeBerlari | Mengubah ukuran klaster sebelum melakukan aktivitas ini untuk mengakomodasi tabel DynamoDB ditentukan sebagai input atau output. Jika Anda `EmrActivity` menggunakan `DynamoDBDataNode` sebagai node data input atau output, dan jika Anda mengatur `resizeClusterBeforeRunning` ke`TRUE`, AWS Data Pipeline mulai menggunakan tipe `m3.xlarge` instance. Ini akan menimpa pilihan tipe instans Anda dengan `m3.xlarge`, yang dapat menambah biaya bulanan Anda. | Boolean |
| resizeClusterMaxContoh | Batas pada jumlah maksimum instans yang dapat diminta oleh algoritme resize. | Bilangan Bulat |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval, atau akhir interval. Nilai adalah: cron, ondemand, dan timeseries. Penjadwalan timeseries berarti bahwa instans dijadwalkan pada akhir setiap interval. Penjadwalan cron berarti bahwa instans dijadwalkan pada awal setiap interval. Jadwal ondemand mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal ondemand itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan alur ondemand, panggil operasi ActivatePipeline untuk setiap putaran berikutnya. | Pencacahan |
| langkah | Satu atau lebih langkah untuk klaster untuk menjalankan. Untuk menentukan beberapa langkah, hingga 255, menambahkan beberapa bidang langkah. Gunakan argumen yang dipisahkan dengan koma setelah nama JAR; misalnya, "s3://amzn-s3-demo-bucket/MyWork.jar,arg1,arg2,arg3". | String |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya, "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Log langkah Amazon EMR tersedia hanya pada upaya aktivitas EMR | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan akhir waktu untuk objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur tempat objek dibuat. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya, “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | ID dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [CopyActivity](dp-object-copyactivity.md)
+ [EmrCluster](dp-object-emrcluster.md)
# HadoopActivity
Menjalankan MapReduce pekerjaan di cluster. Cluster dapat berupa cluster EMR yang dikelola oleh AWS Data Pipeline atau sumber daya lain jika Anda menggunakannya. TaskRunner Gunakan HadoopActivity saat Anda ingin menjalankan pekerjaan secara paralel. Ini memungkinkan Anda untuk menggunakan sumber penjadwalan kerangka YARN atau negosiator MapReduce sumber daya di Hadoop 1. Jika Anda ingin menjalankan pekerjaan secara berurutan menggunakan tindakan Langkah Amazon EMR, Anda masih dapat menggunakan [EmrActivity](dp-object-emractivity.md).
## Contoh
**HadoopActivity menggunakan cluster EMR yang dikelola oleh AWS Data Pipeline**
HadoopActivity Objek berikut menggunakan EmrCluster sumber daya untuk menjalankan program:
```
{
"name": "MyHadoopActivity",
"schedule": {"ref": "ResourcePeriod"},
"runsOn": {"ref": “MyEmrCluster”},
"type": "HadoopActivity",
"preActivityTaskConfig":{"ref":"preTaskScriptConfig”},
"jarUri": "/home/hadoop/contrib/streaming/hadoop-streaming.jar",
"argument": [
"-files",
“s3://elasticmapreduce/samples/wordcount/wordSplitter.py“,
"-mapper",
"wordSplitter.py",
"-reducer",
"aggregate",
"-input",
"s3://elasticmapreduce/samples/wordcount/input/",
"-output",
“s3://amzn-s3-demo-bucket/MyHadoopActivity/#{@pipelineId}/#{format(@scheduledStartTime,'YYYY-MM-dd')}"
],
"maximumRetries": "0",
"postActivityTaskConfig":{"ref":"postTaskScriptConfig”},
"hadoopQueue" : “high”
}
```
Berikut adalah yang sesuai*MyEmrCluster*, yang mengonfigurasi FairScheduler dan antrian di YARN untuk berbasis Hadoop 2: AMIs
```
{
"id" : "MyEmrCluster",
"type" : "EmrCluster",
"hadoopSchedulerType" : "PARALLEL_FAIR_SCHEDULING",
“amiVersion” : “3.7.0”,
"bootstrapAction" : ["s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-z,yarn.scheduler.capacity.root.queues=low\,high\,default,-z,yarn.scheduler.capacity.root.high.capacity=50,-z,yarn.scheduler.capacity.root.low.capacity=10,-z,yarn.scheduler.capacity.root.default.capacity=30”]
}
```
Ini adalah yang EmrCluster Anda gunakan untuk mengkonfigurasi FairScheduler di Hadoop 1:
```
{
"id": "MyEmrCluster",
"type": "EmrCluster",
"hadoopSchedulerType": "PARALLEL_FAIR_SCHEDULING",
"amiVersion": "2.4.8",
"bootstrapAction": "s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-m,mapred.queue.names=low\\\\,high\\\\,default,-m,mapred.fairscheduler.poolnameproperty=mapred.job.queue.name"
}
```
Berikut ini EmrCluster mengkonfigurasi CapacityScheduler untuk berbasis Hadoop 2: AMIs
```
{
"id": "MyEmrCluster",
"type": "EmrCluster",
"hadoopSchedulerType": "PARALLEL_CAPACITY_SCHEDULING",
"amiVersion": "3.7.0",
"bootstrapAction": "s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-z,yarn.scheduler.capacity.root.queues=low\\\\,high,-z,yarn.scheduler.capacity.root.high.capacity=40,-z,yarn.scheduler.capacity.root.low.capacity=60"
}
```
**HadoopActivity menggunakan cluster EMR yang ada**
Dalam contoh ini, Anda menggunakan workergroups dan a TaskRunner untuk menjalankan program pada cluster EMR yang ada. Definisi pipeline berikut digunakan HadoopActivity untuk:
+ Jalankan MapReduce program hanya pada *myWorkerGroup* sumber daya. Untuk informasi selengkapnya tentang grup pekerja, lihat [Menjalankan Pekerjaan pada Sumber Daya yang Ada Menggunakan Runner Tugas](dp-how-task-runner-user-managed.md).
+ Jalankan preActivityTask Config dan Config postActivityTask
```
{
"objects": [
{
"argument": [
"-files",
"s3://elasticmapreduce/samples/wordcount/wordSplitter.py",
"-mapper",
"wordSplitter.py",
"-reducer",
"aggregate",
"-input",
"s3://elasticmapreduce/samples/wordcount/input/",
"-output",
"s3://amzn-s3-demo-bucket/MyHadoopActivity/#{@pipelineId}/#{format(@scheduledStartTime,'YYYY-MM-dd')}"
],
"id": "MyHadoopActivity",
"jarUri": "/home/hadoop/contrib/streaming/hadoop-streaming.jar",
"name": "MyHadoopActivity",
"type": "HadoopActivity"
},
{
"id": "SchedulePeriod",
"startDateTime": "start_datetime",
"name": "SchedulePeriod",
"period": "1 day",
"type": "Schedule",
"endDateTime": "end_datetime"
},
{
"id": "ShellScriptConfig",
"scriptUri": "s3://amzn-s3-demo-bucket/scripts/preTaskScript.sh",
"name": "preTaskScriptConfig",
"scriptArgument": [
"test",
"argument"
],
"type": "ShellScriptConfig"
},
{
"id": "ShellScriptConfig",
"scriptUri": "s3://amzn-s3-demo-bucket/scripts/postTaskScript.sh",
"name": "postTaskScriptConfig",
"scriptArgument": [
"test",
"argument"
],
"type": "ShellScriptConfig"
},
{
"id": "Default",
"scheduleType": "cron",
"schedule": {
"ref": "SchedulePeriod"
},
"name": "Default",
"pipelineLogUri": "s3://amzn-s3-demo-bucket/logs/2015-05-22T18:02:00.343Z642f3fe415",
"maximumRetries": "0",
"workerGroup": "myWorkerGroup",
"preActivityTaskConfig": {
"ref": "preTaskScriptConfig"
},
"postActivityTaskConfig": {
"ref": "postTaskScriptConfig"
}
}
]
}
```
## Sintaksis
****
| Bidang yang Wajib Diisi | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jarUri | Lokasi JAR di Amazon S3 atau sistem file lokal cluster untuk dijalankan. HadoopActivity | String |
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: \$1"ref”: "“\$1. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Klaster EMR di mana tugas ini akan berjalan. | Objek Referensi, misalnya “RunSon”: \$1"ref”:” myEmrCluster Id "\$1 |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| argumen | Argumen untuk diteruskan ke JAR. | String |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel maka aktivitas jarak jauh yang tidak selesai dalam waktu mulai yang ditetapkan dapat dicoba lagi. | Periode |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali | Pencacahan |
| hadoopQueue | Nama antrean penjadwal Hadoop tempat aktivitas akan dikirimkan. | String |
| input | Lokasi data input. | Objek Referensi, misalnya “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| mainClass | Kelas utama JAR Anda mengeksekusi dengan HadoopActivity. | String |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum percobaan ulang pada pelanggaran | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Lokasi data output. | Objek Referensi, misalnya “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| postActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, misalnya "postActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| preActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, misalnya "preActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries. | Pencacahan |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Log langkah EMR hanya tersedia pada upaya aktivitas EMR | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan waktu akhir untuk objek | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [CopyActivity](dp-object-copyactivity.md)
+ [EmrCluster](dp-object-emrcluster.md)
# HiveActivity
Menjalankan kueri Hive pada klaster EMR. `HiveActivity` membuatnya lebih mudah untuk mengatur aktivitas Amazon EMR dan secara otomatis membuat tabel Hive berdasarkan input data yang datang baik dari Amazon S3 atau Amazon RDS. Yang perlu Anda tentukan adalah HiveQL untuk dijalankan pada data sumber. AWS Data Pipeline secara otomatis membuat tabel Hive dengan `${input1}``${input2}`,, dan seterusnya, berdasarkan bidang input dalam `HiveActivity` objek.
Untuk input Amazon S3, bidang `dataFormat` digunakan untuk membuat nama kolom Hive.
Untuk input MySQL (Amazon RDS), nama kolom untuk kueri SQL digunakan untuk membuat nama kolom Hive.
**catatan**
Aktivitas ini menggunakan Hive [CSV Serde](https://cwiki.apache.org/confluence/display/Hive/CSV+Serde).
## Contoh
Berikut adalah contoh dari jenis objek ini. Objek ini mereferensikan tiga objek lain yang akan Anda tetapkan dalam file definisi alur yang sama. `MySchedule` adalah objek `Schedule` dan `MyS3Input` dan `MyS3Output` adalah objek simpul data.
```
{
"name" : "ProcessLogData",
"id" : "MyHiveActivity",
"type" : "HiveActivity",
"schedule" : { "ref": "MySchedule" },
"hiveScript" : "INSERT OVERWRITE TABLE ${output1} select host,user,time,request,status,size from ${input1};",
"input" : { "ref": "MyS3Input" },
"output" : { "ref": "MyS3Output" },
"runsOn" : { "ref": "MyEmrCluster" }
}
```
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Tentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Anda dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: \$1"ref”: "“\$1. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), Anda dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html). | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| hiveScript | Script Hive untuk dijalankan. | String |
| scriptUri | Lokasi script Hive untuk menjalankan (misalnya, s3://scriptLocation). | String |
****
| Grup yang Diperlukan | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Klaster EMR tempat HiveActivity ini berjalan. | Objek Referensi, misalnya “RunSon”: \$1"ref”:” myEmrCluster Id "\$1 |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
| input | Sumber data input. | Objek Referensi, seperti “input”: \$1"ref”:” myDataNode Id "\$1 |
| output | Sumber data output. | Objek Referensi, seperti “output”: \$1"ref”:” myDataNode Id "\$1 |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, seperti “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| hadoopQueue | Nama antrean penjadwal Hadoop tempat tugas akan dikirimkan. | String |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum upaya mencoba ulang pada kegagalan. | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, seperti “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, seperti "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, seperti “onSuccess”: \$1"ref”:” “\$1 myActionId |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, seperti “parent”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| postActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, seperti "postActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| preActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, seperti "preActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, seperti “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan berurutan kerja jarak jauh ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| resizeClusterBeforeBerlari | Mengubah ukuran klaster sebelum melakukan aktivitas ini untuk mengakomodasi simpul data DynamoDB ditentukan sebagai input atau output. Jika aktivitas Anda menggunakan node data input atau output, dan jika Anda menyetelnya `resizeClusterBeforeRunning``TRUE`, AWS Data Pipeline mulailah menggunakan tipe `m3.xlarge` instance. `DynamoDBDataNode` Ini akan menimpa pilihan tipe instans Anda dengan `m3.xlarge`, yang dapat menambah biaya bulanan Anda. | Boolean |
| resizeClusterMaxContoh | Batas pada jumlah maksimum instans yang dapat diminta oleh algoritme resize. | Bilangan Bulat |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries. | Pencacahan |
| scriptVariable | Menentukan variabel script untuk Amazon EMR untuk diteruskan ke Hive saat menjalankan script. Sebagai contoh, variabel script contoh berikut akan melewati SAMPLE dan variabel FILTER\$1DATE ke Hive :SAMPLE=s3://elasticmapreduce/samples/hive-ads dan FILTER\$1DATE=\$1\$1format(@scheduledStartTime,'YYYY-MM-dd')\$1%. Bidang ini menerima beberapa nilai dan bekerja dengan bidang script dan scriptUri. Selain itu, fungsi scriptVariable terlepas dari apakah stage diatur ke true atau false. Bidang ini sangat berguna untuk mengirim nilai-nilai dinamis untuk Hive menggunakan ekspresi dan fungsi AWS Data Pipeline . | String |
| stage | Menentukan apakah staging diaktifkan sebelum atau setelah menjalankan script. Tidak diizinkan dengan Hive 11, jadi gunakan Amazon EMR AMI versi 3.2.0 atau lebih besar. | Boolean |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, seperti “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, seperti "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Langkah log Amazon EMR tersedia hanya pada upaya aktivitas EMR. | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan waktu akhir untuk sebuah objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk sebuah objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, seperti “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
# HiveCopyActivity
Menjalankan kueri Hive pada klaster EMR. `HiveCopyActivity` membuatnya lebih mudah untuk menyalin data antara tabel DynamoDB. `HiveCopyActivity` menerima pernyataan HiveQL untuk mem-filter data input dari DynamoDB di kolom dan baris tingkat.
## Contoh
Contoh berikut menunjukkan cara menggunakan `HiveCopyActivity` dan `DynamoDBExportDataFormat` untuk menyalin data dari satu `DynamoDBDataNode` ke yang lain, sementara mem-filter data, berdasarkan stempel waktu.
```
{
"objects": [
{
"id" : "DataFormat.1",
"name" : "DataFormat.1",
"type" : "DynamoDBExportDataFormat",
"column" : "timeStamp BIGINT"
},
{
"id" : "DataFormat.2",
"name" : "DataFormat.2",
"type" : "DynamoDBExportDataFormat"
},
{
"id" : "DynamoDBDataNode.1",
"name" : "DynamoDBDataNode.1",
"type" : "DynamoDBDataNode",
"tableName" : "item_mapped_table_restore_temp",
"schedule" : { "ref" : "ResourcePeriod" },
"dataFormat" : { "ref" : "DataFormat.1" }
},
{
"id" : "DynamoDBDataNode.2",
"name" : "DynamoDBDataNode.2",
"type" : "DynamoDBDataNode",
"tableName" : "restore_table",
"region" : "us_west_1",
"schedule" : { "ref" : "ResourcePeriod" },
"dataFormat" : { "ref" : "DataFormat.2" }
},
{
"id" : "EmrCluster.1",
"name" : "EmrCluster.1",
"type" : "EmrCluster",
"schedule" : { "ref" : "ResourcePeriod" },
"masterInstanceType" : "m1.xlarge",
"coreInstanceCount" : "4"
},
{
"id" : "HiveTransform.1",
"name" : "Hive Copy Transform.1",
"type" : "HiveCopyActivity",
"input" : { "ref" : "DynamoDBDataNode.1" },
"output" : { "ref" : "DynamoDBDataNode.2" },
"schedule" :{ "ref" : "ResourcePeriod" },
"runsOn" : { "ref" : "EmrCluster.1" },
"filterSql" : "`timeStamp` > unix_timestamp(\"#{@scheduledStartTime}\", \"yyyy-MM-dd'T'HH:mm:ss\")"
},
{
"id" : "ResourcePeriod",
"name" : "ResourcePeriod",
"type" : "Schedule",
"period" : "1 Hour",
"startDateTime" : "2013-06-04T00:00:00",
"endDateTime" : "2013-06-04T01:00:00"
}
]
}
```
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: \$1"ref”: "“\$1. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Tentukan klaster untuk dijalankan. | Objek Referensi, misalnya “RunsOn”: \$1"ref”:” “\$1 myResourceId |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Status yang paling baru dilaporkan dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| dependsOn | Menentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| filterSQL | Sebuah fragmen pernyataan Hive SQL yang mem-filter subset dari data DynamoDB atau Amazon S3 untuk menyalin. Filter seharusnya hanya berisi predikat dan tidak dimulai dengan WHERE klausa, karena AWS Data Pipeline menambahkannya secara otomatis. | String |
| input | Sumber data input. Ini harus menjadi S3DataNode atau DynamoDBDataNode. Jika Anda menggunakan DynamoDBNode, tentukan DynamoDBExportDataFormat. | Objek Referensi, misalnya “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Upaya jumlah maksimum mencoba lagi pada kegagalan. | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Sumber data output. Jika input adalah S3DataNode, ini harus DynamoDBDataNode. Jika tidak, ini bisa S3DataNode atau DynamoDBDataNode. Jika Anda menggunakan DynamoDBNode, tentukan DynamoDBExportDataFormat. | Objek Referensi, misalnya “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | Amazon S3 URI, seperti 's3://BucketName/Key/', untuk unggah log untuk alur. | String |
| postActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, misalnya "postActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| preActivityTaskConfig | Script konfigurasi pre-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, misalnya "preActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| resizeClusterBeforeBerlari | Mengubah ukuran klaster sebelum melakukan aktivitas ini untuk mengakomodasi simpul data DynamoDB ditentukan sebagai input atau output. Jika aktivitas Anda menggunakan node data input atau output, dan jika Anda menyetelnya `resizeClusterBeforeRunning``TRUE`, AWS Data Pipeline mulailah menggunakan tipe `m3.xlarge` instance. `DynamoDBDataNode` Ini akan menimpa pilihan tipe instans Anda dengan `m3.xlarge`, yang dapat menambah biaya bulanan Anda. | Boolean |
| resizeClusterMaxContoh | Batas pada jumlah maksimum instans yang dapat diminta oleh algoritme resize | Bilangan Bulat |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries. | Pencacahan |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Langkah log Amazon EMR tersedia hanya pada upaya aktivitas EMR. | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan akhir waktu untuk objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Object. | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
# PigActivity
PigActivity memberikan dukungan asli untuk skrip Babi AWS Data Pipeline tanpa persyaratan untuk menggunakan `ShellCommandActivity` atau`EmrActivity`. Selain itu, PigActivity mendukung pementasan data. Ketika bidang stage diatur ke BETUL, AWS Data Pipeline men-stage data input sebagai skema di Pig tanpa kode tambahan dari pengguna.
## Contoh
Contoh alur berikut menunjukkan cara menggunakan `PigActivity`. Contoh alur melakukan langkah-langkah berikut:
+ MyPigActivity1 memuat data dari Amazon S3 dan menjalankan skrip Babi yang memilih beberapa kolom data dan mengunggahnya ke Amazon S3.
+ MyPigActivity2 memuat output pertama, memilih beberapa kolom dan tiga baris data, dan mengunggahnya ke Amazon S3 sebagai output kedua.
+ MyPigActivity3 memuat data output kedua, menyisipkan dua baris data dan hanya kolom bernama “kelima” ke Amazon RDS.
+ MyPigActivity4 memuat data Amazon RDS, memilih baris pertama data, dan mengunggahnya ke Amazon S3.
```
{
"objects": [
{
"id": "MyInputData1",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"directoryPath": "s3://amzn-s3-demo-bucket/pigTestInput",
"name": "MyInputData1",
"dataFormat": {
"ref": "MyInputDataType1"
},
"type": "S3DataNode"
},
{
"id": "MyPigActivity4",
"scheduleType": "CRON",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"input": {
"ref": "MyOutputData3"
},
"pipelineLogUri": "s3://amzn-s3-demo-bucket/path/",
"name": "MyPigActivity4",
"runsOn": {
"ref": "MyEmrResource"
},
"type": "PigActivity",
"dependsOn": {
"ref": "MyPigActivity3"
},
"output": {
"ref": "MyOutputData4"
},
"script": "B = LIMIT ${input1} 1; ${output1} = FOREACH B GENERATE one;",
"stage": "true"
},
{
"id": "MyPigActivity3",
"scheduleType": "CRON",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"input": {
"ref": "MyOutputData2"
},
"pipelineLogUri": "s3://amzn-s3-demo-bucket/path",
"name": "MyPigActivity3",
"runsOn": {
"ref": "MyEmrResource"
},
"script": "B = LIMIT ${input1} 2; ${output1} = FOREACH B GENERATE Fifth;",
"type": "PigActivity",
"dependsOn": {
"ref": "MyPigActivity2"
},
"output": {
"ref": "MyOutputData3"
},
"stage": "true"
},
{
"id": "MyOutputData2",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"name": "MyOutputData2",
"directoryPath": "s3://amzn-s3-demo-bucket/PigActivityOutput2",
"dataFormat": {
"ref": "MyOutputDataType2"
},
"type": "S3DataNode"
},
{
"id": "MyOutputData1",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"name": "MyOutputData1",
"directoryPath": "s3://amzn-s3-demo-bucket/PigActivityOutput1",
"dataFormat": {
"ref": "MyOutputDataType1"
},
"type": "S3DataNode"
},
{
"id": "MyInputDataType1",
"name": "MyInputDataType1",
"column": [
"First STRING",
"Second STRING",
"Third STRING",
"Fourth STRING",
"Fifth STRING",
"Sixth STRING",
"Seventh STRING",
"Eighth STRING",
"Ninth STRING",
"Tenth STRING"
],
"inputRegEx": "^(\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+) (\\\\S+)",
"type": "RegEx"
},
{
"id": "MyEmrResource",
"region": "us-east-1",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"keyPair": "example-keypair",
"masterInstanceType": "m1.small",
"enableDebugging": "true",
"name": "MyEmrResource",
"actionOnTaskFailure": "continue",
"type": "EmrCluster"
},
{
"id": "MyOutputDataType4",
"name": "MyOutputDataType4",
"column": "one STRING",
"type": "CSV"
},
{
"id": "MyOutputData4",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"directoryPath": "s3://amzn-s3-demo-bucket/PigActivityOutput3",
"name": "MyOutputData4",
"dataFormat": {
"ref": "MyOutputDataType4"
},
"type": "S3DataNode"
},
{
"id": "MyOutputDataType1",
"name": "MyOutputDataType1",
"column": [
"First STRING",
"Second STRING",
"Third STRING",
"Fourth STRING",
"Fifth STRING",
"Sixth STRING",
"Seventh STRING",
"Eighth STRING"
],
"columnSeparator": "*",
"type": "Custom"
},
{
"id": "MyOutputData3",
"username": "___",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"insertQuery": "insert into #{table} (one) values (?)",
"name": "MyOutputData3",
"*password": "___",
"runsOn": {
"ref": "MyEmrResource"
},
"connectionString": "jdbc:mysql://example-database-instance:3306/example-database",
"selectQuery": "select * from #{table}",
"table": "example-table-name",
"type": "MySqlDataNode"
},
{
"id": "MyOutputDataType2",
"name": "MyOutputDataType2",
"column": [
"Third STRING",
"Fourth STRING",
"Fifth STRING",
"Sixth STRING",
"Seventh STRING",
"Eighth STRING"
],
"type": "TSV"
},
{
"id": "MyPigActivity2",
"scheduleType": "CRON",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"input": {
"ref": "MyOutputData1"
},
"pipelineLogUri": "s3://amzn-s3-demo-bucket/path",
"name": "MyPigActivity2",
"runsOn": {
"ref": "MyEmrResource"
},
"dependsOn": {
"ref": "MyPigActivity1"
},
"type": "PigActivity",
"script": "B = LIMIT ${input1} 3; ${output1} = FOREACH B GENERATE Third, Fourth, Fifth, Sixth, Seventh, Eighth;",
"output": {
"ref": "MyOutputData2"
},
"stage": "true"
},
{
"id": "MyEmrResourcePeriod",
"startDateTime": "2013-05-20T00:00:00",
"name": "MyEmrResourcePeriod",
"period": "1 day",
"type": "Schedule",
"endDateTime": "2013-05-21T00:00:00"
},
{
"id": "MyPigActivity1",
"scheduleType": "CRON",
"schedule": {
"ref": "MyEmrResourcePeriod"
},
"input": {
"ref": "MyInputData1"
},
"pipelineLogUri": "s3://amzn-s3-demo-bucket/path",
"scriptUri": "s3://amzn-s3-demo-bucket/script/pigTestScipt.q",
"name": "MyPigActivity1",
"runsOn": {
"ref": "MyEmrResource"
},
"scriptVariable": [
"column1=First",
"column2=Second",
"three=3"
],
"type": "PigActivity",
"output": {
"ref": "MyOutputData1"
},
"stage": "true"
}
]
}
```
Isi dari `pigTestScript.q` adalah sebagai berikut.
```
B = LIMIT ${input1} $three; ${output1} = FOREACH B GENERATE $column1, $column2, Third, Fourth, Fifth, Sixth, Seventh, Eighth;
```
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: \$1"ref”: "“\$1. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya, “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| script | Script Pig yang akan dijalankan. | String |
| scriptUri | Lokasi script Pig untuk menjalankan (misalnya, s3://scriptLocation). | String |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | EMR Cluster tempat ini PigActivity berjalan. | Objek Referensi, misalnya, “RunsOn”: \$1"ref”:” myEmrCluster Id "\$1 |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Status yang paling baru dilaporkan dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| dependsOn | Menentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya, “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| input | Sumber data input. | Objek Referensi, misalnya, “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Upaya jumlah maksimum mencoba lagi pada kegagalan. | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya, “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya, "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya, “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Sumber data output. | Objek Referensi, misalnya, “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya, “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI Amazon S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| postActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI script shell di Amazon S33 dan daftar argumen. | Objek Referensi, misalnya, "postActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| preActivityTaskConfig | Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari URI shell script di Amazon S3 dan daftar argumen. | Objek Referensi, misalnya, "preActivityTaskConfig”: \$1"ref”:” “\$1 myShellScript ConfigId |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya, “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| resizeClusterBeforeBerlari | Mengubah ukuran klaster sebelum melakukan aktivitas ini untuk mengakomodasi simpul data DynamoDB ditentukan sebagai input atau output. Jika aktivitas Anda menggunakan node data input atau output, dan jika Anda menyetelnya `resizeClusterBeforeRunning``TRUE`, AWS Data Pipeline mulailah menggunakan tipe `m3.xlarge` instance. `DynamoDBDataNode` Ini akan menimpa pilihan tipe instans Anda dengan `m3.xlarge`, yang dapat menambah biaya bulanan Anda. | Boolean |
| resizeClusterMaxContoh | Batas pada jumlah maksimum instans yang dapat diminta oleh algoritme resize. | Bilangan Bulat |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries. | Pencacahan |
| scriptVariable | Argumen untuk diteruskan ke script Pig. Anda dapat menggunakan scriptVariable dengan script atau scriptUri. | String |
| stage | Menentukan apakah staging diaktifkan dan memungkinkan skrip Pig Anda memiliki akses ke tabel data bertahap, seperti \$1 \$1INPUT1\$1 dan \$1 \$1\$1. OUTPUT1 | Boolean |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya, “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya, "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Langkah log Amazon EMR tersedia hanya pada upaya aktivitas EMR. | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan akhir waktu untuk objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur tempat objek dibuat. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya, “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | ID dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |
## Lihat Juga
+ [ShellCommandActivity](dp-object-shellcommandactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
# RedshiftCopyActivity
Menyalin data dari DynamoDB atau Amazon S3 ke Amazon Redshift. Anda dapat memuat data ke dalam tabel baru, atau dengan mudah menggabungkan data ke dalam tabel yang ada.
Berikut ini adalah gambaran umum kasus penggunaan di mana untuk menggunakan `RedshiftCopyActivity`:
1. Mulailah dengan menggunakan AWS Data Pipeline untuk mementaskan data Anda di Amazon S3.
1. Gunakan `RedshiftCopyActivity` untuk memindahkan data dari Amazon RDS dan Amazon EMR ke Amazon Redshift.
Hal ini memungkinkan Anda memuat data Anda ke Amazon Redshift di mana Anda dapat menganalisisnya.
1. Gunakan [SqlActivity](dp-object-sqlactivity.md) untuk melakukan kueri SQL pada data yang Anda telah muat ke Amazon Redshift.
Selain itu, `RedshiftCopyActivity` memungkinkan Anda bekerja dengan `S3DataNode`, karena men-support file manifes. Untuk informasi selengkapnya, lihat [S3 DataNode](dp-object-s3datanode.md).
## Contoh
Berikut adalah contoh dari jenis objek ini.
Untuk memastikan konversi format, contoh ini menggunakan parameter konversi khusus [EMPTYASNULL](https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-emptyasnull) dan [IGNOREBLANKLINES](https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-ignoreblanklines) di `commandOptions`. Untuk informasi, lihat [Parameter Konversi Data](https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html) di *Panduan Developer Basis Data Amazon Redshift*.
```
{
"id" : "S3ToRedshiftCopyActivity",
"type" : "RedshiftCopyActivity",
"input" : { "ref": "MyS3DataNode" },
"output" : { "ref": "MyRedshiftDataNode" },
"insertMode" : "KEEP_EXISTING",
"schedule" : { "ref": "Hour" },
"runsOn" : { "ref": "MyEc2Resource" },
"commandOptions": ["EMPTYASNULL", "IGNOREBLANKLINES"]
}
```
Definisi contoh alur berikut menunjukkan aktivitas yang menggunakan mode sisipan `APPEND`:
```
{
"objects": [
{
"id": "CSVId1",
"name": "DefaultCSV1",
"type": "CSV"
},
{
"id": "RedshiftDatabaseId1",
"databaseName": "dbname",
"username": "user",
"name": "DefaultRedshiftDatabase1",
"*password": "password",
"type": "RedshiftDatabase",
"clusterId": "redshiftclusterId"
},
{
"id": "Default",
"scheduleType": "timeseries",
"failureAndRerunMode": "CASCADE",
"name": "Default",
"role": "DataPipelineDefaultRole",
"resourceRole": "DataPipelineDefaultResourceRole"
},
{
"id": "RedshiftDataNodeId1",
"schedule": {
"ref": "ScheduleId1"
},
"tableName": "orders",
"name": "DefaultRedshiftDataNode1",
"createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));",
"type": "RedshiftDataNode",
"database": {
"ref": "RedshiftDatabaseId1"
}
},
{
"id": "Ec2ResourceId1",
"schedule": {
"ref": "ScheduleId1"
},
"securityGroups": "MySecurityGroup",
"name": "DefaultEc2Resource1",
"role": "DataPipelineDefaultRole",
"logUri": "s3://myLogs",
"resourceRole": "DataPipelineDefaultResourceRole",
"type": "Ec2Resource"
},
{
"id": "ScheduleId1",
"startDateTime": "yyyy-mm-ddT00:00:00",
"name": "DefaultSchedule1",
"type": "Schedule",
"period": "period",
"endDateTime": "yyyy-mm-ddT00:00:00"
},
{
"id": "S3DataNodeId1",
"schedule": {
"ref": "ScheduleId1"
},
"filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv",
"name": "DefaultS3DataNode1",
"dataFormat": {
"ref": "CSVId1"
},
"type": "S3DataNode"
},
{
"id": "RedshiftCopyActivityId1",
"input": {
"ref": "S3DataNodeId1"
},
"schedule": {
"ref": "ScheduleId1"
},
"insertMode": "APPEND",
"name": "DefaultRedshiftCopyActivity1",
"runsOn": {
"ref": "Ec2ResourceId1"
},
"type": "RedshiftCopyActivity",
"output": {
"ref": "RedshiftDataNodeId1"
}
}
]
}
```
Operasi `APPEND` menambahkan item ke tabel terlepas dari primer atau semacam kunci. Misalnya, jika Anda memiliki tabel berikut, Anda dapat menambahkan catatan dengan ID dan nilai pengguna yang sama.
```
ID(PK) USER
1 aaa
2 bbb
```
Anda dapat menambahkan catatan dengan ID dan nilai pengguna yang sama:
```
ID(PK) USER
1 aaa
2 bbb
1 aaa
```
**catatan**
Jika operasi `APPEND` terganggu dan dicoba lagi, alur jalankan kembali yang dihasilkan berpotensi ditambahkan dari awal. Hal ini dapat menyebabkan duplikasi lebih lanjut, sehingga Anda harus menyadari perilaku ini, terutama jika Anda memiliki logika yang menghitung jumlah baris.
Untuk tutorial, lihat [Salin Data ke Amazon Redshift Menggunakan AWS Data Pipeline](dp-copydata-redshift.md).
## Sintaksis
****
| Bidang yang Wajib Diisi | Deskripsi | Jenis Slot |
| --- | --- | --- |
| insertMode | Menentukan AWS Data Pipeline apa yang dilakukan dengan data yang sudah ada sebelumnya dalam tabel target yang tumpang tindih dengan baris dalam data yang akan dimuat. Nilai yang valid adalah: `KEEP_EXISTING`, `OVERWRITE_EXISTING`, `TRUNCATE`, dan `APPEND`. `KEEP_EXISTING` menambahkan baris baru ke meja, sementara meninggalkan setiap baris yang ada dimodifikasi. `KEEP_EXISTING` dan ` OVERWRITE_EXISTING` menggunakan kunci primer, urutkan, dan kunci distribusi untuk mengidentifikasi baris yang masuk untuk mencocokkan dengan baris yang ada. Lihat [Memperbarui dan Memasukkan Data Baru](https://docs.aws.amazon.com/redshift/latest/dg/t_updating-inserting-using-staging-tables-.html) di Amazon Redshift *Panduan Developer Basis Data*. `TRUNCATE` menghapus semua data dalam tabel tujuan sebelum menulis data baru. `APPEND` menambahkan semua catatan ke akhir tabel Redshift. `APPEND` tidak memerlukan primer, kunci distribusi, atau menyortir kunci sehingga item yang mungkin merupakan duplikat potensial dapat ditambahkan. | Pencacahan |
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Tentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Dalam kebanyakan kasus, kami rekomendasikan untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Misalnya, Anda dapat dengan secara eksplisit mengatur jadwal pada objek dengan menentukan `"schedule": {"ref": "DefaultSchedule"}`. Jika jadwal utama dalam alur Anda berisi jadwal nested, buat objek induk yang memiliki jadwal referensi. Untuk informasi selengkapnya tentang contoh konfigurasi jadwal opsional, lihat [Jadwal](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html). | Objek Referensi, seperti: "schedule":\$1"ref":"myScheduleId"\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Sumber daya komputasi untuk menjalankan aktivitas atau perintah. Misalnya, instans Amazon EC2 atau klaster Amazon EMR. | Objek Referensi, misalnya “RunsOn”: \$1"ref”:” “\$1 myResourceId |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| commandOptions | Membawa parameter untuk diteruskan ke simpul data Amazon Redshift selama operasi `COPY`. Untuk informasi tentang parameter, lihat [COPY](https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html) di *Panduan Developer Basis Data Amazon Redshift*. Saat memuat tabel, `COPY` mencoba untuk secara implisit mengkonversi rangkaian ke tipe data dari kolom target. Selain konversi data default yang terjadi secara otomatis, jika Anda menerima kesalahan atau memiliki kebutuhan konversi lainnya, Anda dapat menentukan parameter konversi tambahan. Untuk informasi, lihat [Parameter Konversi Data](https://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html) di Amazon Redshift *Panduan Developer Basis Data*. Jika format data dikaitkan dengan input atau output simpul data, maka parameter yang disediakan akan diabaikan. Karena operasi penyalinan pertama kali menggunakan `COPY` untuk memasukkan data ke dalam tabel staging, dan kemudian menggunakan perintah `INSERT` untuk menyalin data dari tabel staging ke tabel tujuan, beberapa parameter `COPY` tidak berlaku, seperti kemampuan perintah `COPY` untuk mengaktifkan kompresi otomatis tabel. Jika kompresi diperlukan, menambahkan detail pengkodean kolom ke pernyataan `CREATE TABLE`. Juga, dalam beberapa kasus ketika perlu membongkar data dari klaster Amazon Redshift dan membuat file di Amazon S3, `RedshiftCopyActivity` bergantung pada operasi `UNLOAD` dari Amazon Redshift. Untuk meningkatkan performa selama penyalinan dan pembongkaran, tentukan parameter `PARALLEL OFF` dari perintah `UNLOAD`. Untuk informasi tentang parameter, lihat [UNLOAD](https://docs.aws.amazon.com/redshift/latest/dg/r_UNLOAD.html) di Amazon Redshift *Panduan Developer Basis Data*. | String |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi: "dependsOn":\$1"ref":"myActivityId"\$1 |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali | Pencacahan |
| input | Simpul data input. Sumber data bisa jadi Amazon S3, DynamoDB, atau Amazon Redshift. | Objek Referensi: "input":\$1"ref":"myDataNodeId"\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum percobaan ulang pada pelanggaran | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi: "onFail":\$1"ref":"myActionId"\$1 |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi: "onLateAction":\$1"ref":"myActionId"\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi: "onSuccess":\$1"ref":"myActionId"\$1 |
| output | Simpul data output. Lokasi output bisa jadi Amazon S3 atau Amazon Redshift. | Objek Referensi: "output":\$1"ref":"myDataNodeId"\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi: "parent":\$1"ref":"myBaseObjectId"\$1 |
| pipelineLogUri | URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi: "precondition":\$1"ref":"myPreconditionId"\$1 |
| antrean | Sesuai dengan pengaturan `query_group ` di Amazon Redshift, yang mengizinkan Anda untuk menetapkan dan memprioritaskan aktivitas bersamaan berdasarkan penempatan mereka dalam antrean. Amazon Redshift membatasi jumlah koneksi simultan hingga 15. Untuk informasi selengkapnya, lihat [Menetapkan Kueri untuk Antrean](https://docs.aws.amazon.com/AmazonRDS/latest/DeveloperGuide/cm-c-executing-queries.html) di Amazon RDS *Panduan Developer Basis Data*. | String |
| reportProgressTimeout | Timeout untuk panggilan berurutan kerja jarak jauh ke `reportProgress`. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Mengizinkan Anda untuk menentukan apakah jadwal untuk objek dalam alur Anda. Nilai adalah: `cron`, `ondemand`, dan `timeseries`. Penjadwalan `timeseries` berarti bahwa instans dijadwalkan pada akhir setiap interval. Penjadwalan `Cron` berarti bahwa instans dijadwalkan pada awal setiap interval. Jadwal `ondemand` mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Untuk menggunakan alur `ondemand`, panggil operasi `ActivatePipeline` untuk setiap putaran berikutnya. Jika Anda menggunakan jadwal `ondemand`, Anda harus menentukan dalam objek default, dan itu harus menjadi satu-satunya `scheduleType` yang ditentukan untuk objek dalam alur. | Pencacahan |
| transformSql | Ekspresi `SQL SELECT` yang digunakan untuk mengubah input data. Jalankan ekspresi `transformSql` pada tabel bernama `staging`. Saat Anda menyalin data dari DynamoDB atau Amazon S3, AWS Data Pipeline membuat tabel yang disebut "staging" dan awalnya memuat data di sana. Data dari tabel ini digunakan untuk memperbarui tabel target. Output skema `transformSql` harus sesuai skema tabel target akhir ini. Jika Anda menentukan pilihan `transformSql`, tabel staging kedua dibuat dari pernyataan SQL tertentu. Data dari tabel staging kedua ini kemudian diperbarui dalam tabel target akhir. | String |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi: "activeInstances":\$1"ref":"myRunnableObjectId"\$1 |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi: "cascadeFailedOn":\$1"ref":"myRunnableObjectId"\$1 |
| emrStepLog | Log langkah EMR hanya tersedia pada upaya aktivitas EMR | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan akhir waktu untuk objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi: "waitingOn":\$1"ref":"myRunnableObjectId"\$1 |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Lingkup sebuah objek. Menunjukkan tempatnya dalam siklus hidup. Misalnya, Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects.. | String |
# ShellCommandActivity
Menjalankan perintah atau script. Anda dapat menggunakan `ShellCommandActivity` untuk menjalankan tugas terjadwal deret waktu atau seperti cron.
Saat bidang `stage` disetel ke BETUL dan digunakan dengan `S3DataNode`, `ShellCommandActivity` men-support konsep staging data, yang berarti bahwa Anda dapat memindahkan data dari Amazon S3 ke lokasi stage, seperti Amazon EC2 atau lingkungan lokal Anda, melakukan pekerjaan pada data menggunakan script dan `ShellCommandActivity`, dan memindahkannya kembali ke Amazon S3.
Dalam hal ini, ketika perintah shell Anda terhubung ke input `S3DataNode`, script shell anda beroperasi secara langsung pada data menggunakan `${INPUT1_STAGING_DIR}`, `${INPUT2_STAGING_DIR}`, dan bidang lainnya, mengacu pada bidang input `ShellCommandActivity`.
Demikian pula, output dari shell-perintah dapat di-staged dalam direktori output untuk secara otomatis didorong ke Amazon S3, diirujuk oleh `${OUTPUT1_STAGING_DIR}`, `${OUTPUT2_STAGING_DIR}`, dan sebagainya.
Ekspresi ini dapat diteruskan sebagai argumen baris perintah untuk shell-perintah bagi Anda untuk menggunakan dalam logika transformasi data.
`ShellCommandActivity` mengembalikan kode kesalahan bergaya Linux dan rangkaian. Jika hasil `ShellCommandActivity` dalam kesalahan, `error` yang dikembalikan adalah nilai bukan nol.
## Contoh
Berikut adalah contoh dari jenis objek ini.
```
{
"id" : "CreateDirectory",
"type" : "ShellCommandActivity",
"command" : "mkdir new-directory"
}
```
## Sintaksis
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam eksekusi dari selang waktu `schedule`. Untuk menyetel perintah eksekusi dependensi untuk objek ini, tentukan referensi `schedule` ke objek lain. Untuk memenuhi persyaratan ini, atur secara eksplisit `schedule` pada objek, misalnya, dengan menentukan `"schedule": {"ref": "DefaultSchedule"}`. Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi `schedule` pada objek alur default sehingga semua objek mewarisi jadwal itu. Jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), buat objek induk yang memiliki referensi jadwal. Untuk menyebarkan beban, AWS Data Pipeline buat objek fisik sedikit lebih cepat dari jadwal, tetapi jalankan sesuai jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| perintah | Perintah yang akan dijalankan. Gunakan \$1 untuk referensi parameter posisi dan scriptArgument untuk menentukan parameter untuk perintah. Nilai ini dan setiap parameter terkait harus berfungsi di lingkungan dari mana Anda menjalankan Task Runner. | String |
| scriptUri | Sebuah jalur Amazon S3 URI untuk file untuk mengunduh dan menjalankan sebagai perintah shell. Tentukan hanya satu scriptUri, atau bidang command. scriptUri tidak dapat menggunakan parameter, gunakan command sebagai gantinya. | String |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Sumber daya komputasi untuk menjalankan aktivitas atau perintah, misalnya, instans Amazon EC2 atau klaster Amazon EMR. | Objek Referensi, misalnya “RunsOn”: \$1"ref”:” “\$1 myResourceId |
| workerGroup | Digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Status yang paling baru dilaporkan dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| dependsOn | Menentukan dependensi pada objek yang dapat dijalankan lainnya. | Objek Referensi, misalnya “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| input | Lokasi data input. | Objek Referensi, misalnya “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Upaya jumlah maksimum mencoba lagi pada kegagalan. | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau tidak selesai. | Objek Referensi, misalnya "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Lokasi data output. | Objek Referensi, misalnya “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | Amazon S3 URI, seperti 's3://BucketName/Key/' untuk unggah log untuk alur. | String |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| reportProgressTimeout | Timeout untuk panggilan berturut-turut ke reportProgress oleh aktivitas jarak jauh. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau pada akhir interval. Nilainya adalah `cron`, `ondemand`, dan `timeseries`. Jika disetel ke `timeseries`, instans dijadwalkan pada akhir setiap interval. Jika disetel ke `Cron`, instans dijadwalkan pada awal setiap interval. Jika disetel ke `ondemand`, Anda dapat menjalankan alur satu kali, per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal `ondemand`, tentukan itu dalam objek default sebagai satu-satunya `scheduleType` untuk objek dalam alur. Untuk menggunakan alur `ondemand`, panggil operasi `ActivatePipeline` untuk setiap putaran berikutnya. | Pencacahan |
| scriptArgument | Array string berformat JSON untuk diteruskan ke perintah yang ditentukan oleh perintah. Misalnya, jika perintah echo \$11 \$12, tentukan scriptArgument sebagai "param1", "param2". Untuk beberapa argumen dan parameter, teruskan scriptArgument sebagai berikut: "scriptArgument":"arg1","scriptArgument":"param1","scriptArgument":"arg2","scriptArgument":"param2". scriptArgument hanya dapat digunakan dengan command; Menggunakannya dengan scriptUri menyebabkan kesalahan. | String |
| stage | Menentukan apakah staging diaktifkan dan mengizinkan perintah shell Anda untuk memiliki akses ke variabel data ter-staged, seperti \$1\$1INPUT1\$1STAGING\$1DIR\$1 dan \$1\$1OUTPUT1\$1STAGING\$1DIR\$1. | Boolean |
| stderr | Jalur yang menerima pesan kesalahan sistem yang dialihkan dari perintah. Jika Anda menggunakan bidang runsOn, ini harus menjadi jalur Amazon S3 karena sifat sementara dari sumber daya yang menjalankan aktivitas Anda. Namun, jika Anda menentukan bidang workerGroup, jalur file lokal diizinkan. | String |
| stdout | Jalur Amazon S3 yang menerima output yang dialihkan dari perintah. Jika Anda menggunakan bidang runsOn, ini harus menjadi jalur Amazon S3 karena sifat sementara dari sumber daya yang menjalankan aktivitas Anda. Namun, jika Anda menentukan bidang workerGroup, jalur file lokal diizinkan. | String |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi yang menyebabkan kegagalan objek. | Objek Referensi, misalnya "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Log langkah Amazon EMR tersedia hanya pada upaya aktivitas Amazon EMR. | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu di mana objek menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk aktivitas berbasis Amazon EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu menjalankan terbaru tempat eksekusi selesai. | DateTime |
| @latestRunTime | Waktu menjalankan terbaru tempat eksekusi dijadwalkan. | DateTime |
| @nextRunTime | Waktu menjalankan yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwal waktu akhir untuk objek. | DateTime |
| @scheduledStartTime | Jadwal waktu mulai untuk objek. | DateTime |
| @status | Status objek. | String |
| @version | AWS Data Pipeline Versi yang digunakan untuk membuat objek. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Kesalahan yang menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Tempat objek dalam siklus hidup. Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |
## Lihat Juga
+ [CopyActivity](dp-object-copyactivity.md)
+ [EmrActivity](dp-object-emractivity.md)
# SqlActivity
Menjalankan kueri SQL (script) pada basis data.
## Contoh
Berikut adalah contoh dari jenis objek ini.
```
{
"id" : "MySqlActivity",
"type" : "SqlActivity",
"database" : { "ref": "MyDatabaseID" },
"script" : "SQLQuery" | "scriptUri" : s3://scriptBucket/query.sql,
"schedule" : { "ref": "MyScheduleID" },
}
```
## Sintaksis
****
| Bidang yang Wajib Diisi | Deskripsi | Jenis Slot |
| --- | --- | --- |
| basis data | Basis data untuk menjalankan script SQL yang disediakan. | Objek Referensi, misalnya “database”: \$1"ref”:” myDatabaseId “\$1 |
****
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
| --- | --- | --- |
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Anda harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Misalnya, Anda dapat dengan secara eksplisit mengatur jadwal pada objek dengan menentukan `"schedule": {"ref": "DefaultSchedule"}`. Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Jika alur memiliki pohon jadwal yang bersarang di jadwal utama, buat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat [https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html](https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html) | Objek Referensi, misalnya “schedule”: \$1"ref”:” myScheduleId “\$1 |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| script | Script SQL untuk menjalankan. Anda harus menentukan script atau scriptUri. Ketika script disimpan di Amazon S3, maka script tidak dievaluasi sebagai ekspresi. Menentukan beberapa nilai untuk scriptArgument sangat membantu ketika script disimpan di Amazon S3. | String |
| scriptUri | Sebuah URI menentukan lokasi script SQL untuk mengeksekusi dalam aktivitas ini. | String |
****
| Grup yang diperlukan (Salah satu dari berikut ini diperlukan) | Deskripsi | Jenis Slot |
| --- | --- | --- |
| runsOn | Sumber daya komputasi untuk menjalankan aktivitas atau perintah. Misalnya, instans Amazon EC2 atau klaster Amazon EMR. | Objek Referensi, misalnya “RunsOn”: \$1"ref”:” “\$1 myResourceId |
| workerGroup | Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. | String |
****
| Bidang Opsional | Deskripsi | Jenis Slot |
| --- | --- | --- |
| attemptStatus | Baru-baru ini melaporkan status dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel maka aktivitas jarak jauh yang tidak selesai dalam waktu mulai yang ditetapkan dapat dicoba lagi. | Periode |
| dependsOn | Tentukan dependensi pada objek yang bisa dijalankan lainnya. | Objek Referensi, misalnya “DependsOn”: \$1"ref”:” “\$1 myActivityId |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali | Pencacahan |
| input | Lokasi data input. | Objek Referensi, misalnya “input”: \$1"ref”:” myDataNode Id "\$1 |
| lateAfterTimeout | Jangka waktu sejak awal dijadwalkan dari alur di mana objek dijalankan harus dimulai. | Periode |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bilangan Bulat |
| maximumRetries | Jumlah maksimum percobaan ulang pada pelanggaran | Bilangan Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya “onFail”: \$1"ref”:” “\$1 myActionId |
| onLateAction | Tindakan yang harus dipicu jika suatu objek belum dijadwalkan atau masih belum selesai dalam periode waktu sejak awal pipeline yang dijadwalkan seperti yang ditentukan oleh 'lateAfterTimeout'. | Objek Referensi, misalnya "onLateAction“: \$1" ref”:” myActionId “\$1 |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya “onSuccess”: \$1"ref”:” “\$1 myActionId |
| output | Lokasi data output. Ini hanya berguna untuk referensi dari dalam skrip (misalnya\$1\$1output.tablename\$1) dan untuk membuat tabel output dengan mengatur 'createTableSql' di node data output. Output dari kueri SQL tidak ditulis ke simpul data output. | Objek Referensi, misalnya “output”: \$1"ref”:” myDataNode Id "\$1 |
| induk | Induk dari objek saat ini dari mana slot akan diwariskan. | Objek Referensi, misalnya “induk”: \$1"ref”:” myBaseObject Id "\$1 |
| pipelineLogUri | URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| prasyarat | Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi. | Objek Referensi, misalnya “prasyarat”: \$1"ref”:” “myPreconditionId\$1 |
| antrean | [Amazon Redshift saja] Sesuai dengan pengaturan query\$1group di Amazon Redshift, yang mengizinkan Anda untuk menetapkan dan memprioritaskan aktivitas bersamaan berdasarkan penempatan mereka dalam antrean. Amazon Redshift membatasi jumlah koneksi simultan hingga 15. Untuk informasi selengkapnya, lihat [Menetapkan Kueri untuk Antrean](https://docs.aws.amazon.com/redshift/latest/dg/cm-c-executing-queries.html) dalam Panduan Developer Basis Data Amazon Redshift. | String |
| reportProgressTimeout | Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. | Periode |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Nilai adalah: `cron`, `ondemand`, dan `timeseries`. Penjadwalan `timeseries` berarti instans dijadwalkan pada akhir setiap interval. Penjadwalan `cron` berarti bahwa instans dijadwalkan pada awal setiap interval. Jadwal `ondemand` mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal `ondemand` itu harus ditentukan dalam objek default dan harus menjadi satu-satunya `scheduleType` yang ditentukan untuk objek dalam alur. Untuk menggunakan alur `ondemand`, panggil operasi `ActivatePipeline` untuk setiap putaran berikutnya. | Pencacahan |
| scriptArgument | Daftar variabel untuk script. Sebagai alternatif, Anda dapat menempatkan ekspresi langsung ke bidang script. Beberapa nilai untuk scriptArgument berguna saat script disimpan di Amazon S3. Contoh: \$1 \$1format (@scheduledStartTime, "YY-MM-DD HH:MM:SS"\$1\$1n\$1 \$1format (PlusPeriod (@, “1 hari”)scheduledStartTime, "HH:MM:SS"\$1 YY-MM-DD | String |
****
| Bidang Runtime | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Objek Referensi, misalnya “ActiveInstances”: \$1"ref”:” Id "\$1 myRunnableObject |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya "cascadeFailedOn“: \$1" ref”:” myRunnableObject Id "\$1 |
| emrStepLog | Log langkah EMR hanya tersedia pada upaya aktivitas EMR | String |
| errorId | errorId jika objek ini gagal. | String |
| errorMessage | errorMessage jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | Id dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @ healthStatusUpdated Waktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @ latestCompletedRun Waktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan waktu akhir untuk objek | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur objek dibuat dengan. | String |
| @waitingOn | Deskripsi daftar dependensi objek ini sedang menunggu. | Objek Referensi, misalnya “WaitingOn”: \$1"ref”:” Id "\$1 myRunnableObject |
****
| Bidang Sistem | Deskripsi | Jenis Slot |
| --- | --- | --- |
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | Id dari alur tempat objek ini berada. | String |
| @sphere | Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. | String |