AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. [Pelajari selengkapnya](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/)
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menjalankan Pekerjaan pada Sumber Daya yang Ada Menggunakan Runner Tugas
Anda dapat memasang Runner Tugas pada sumber daya komputasi yang Anda kelola, seperti instans Amazon EC2, atau server fisik atau workstation. Task Runner dapat diinstal di mana saja, pada perangkat keras atau sistem operasi yang kompatibel, asalkan dapat berkomunikasi dengan layanan AWS Data Pipeline web.
Pendekatan ini dapat berguna ketika, misalnya, Anda ingin menggunakan AWS Data Pipeline untuk memproses data yang disimpan di dalam firewall organisasi Anda. Dengan menginstal Task Runner di server di jaringan lokal, Anda dapat mengakses database lokal dengan aman dan kemudian melakukan polling AWS Data Pipeline untuk tugas berikutnya yang akan dijalankan. Saat AWS Data Pipeline selesai memproses atau menghapus pipeline, instance Task Runner tetap berjalan di sumber daya komputasi hingga Anda mematikannya secara manual. Log Runner Tugas tetap ada setelah eksekusi alur selesai.
Untuk menggunakan Runner Tugas pada sumber daya yang Anda kelola, Anda harus mengunduh Runner Tugas terlebih dahulu, lalu memasangnya pada sumber daya komputasi Anda, menggunakan prosedur di bagian ini.
**catatan**
Anda hanya dapat memasang Runner Tugas di Linux, UNIX, atau macOS. Runner Tugas tidak didukung pada sistem operasi Windows.
Untuk menggunakan Task Runner 2.0, versi Java minimum yang dibutuhkan adalah 1.7.
Untuk menghubungkan Runner Tugas yang telah Anda pasang ke aktivitas alur yang harus diproses, tambahkan bidang `workerGroup` ke objek, dan konfigurasikan Runner Tugas untuk melakukan polling untuk nilai grup pekerja tersebut. Anda melakukan ini dengan meneruskan string grup pekerja sebagai parameter (misalnya, `--workerGroup=wg-12345`) saat Anda menjalankan file JAR Runner Tugas.
![\[AWS Data Pipeline diagram showing monthly task flow for archiving processed invoices using Task Runner.\]](http://docs.aws.amazon.com/id_id/datapipeline/latest/DeveloperGuide/images/dp-task-runner-user-emr-jobflow.png)
```
{
"id" : "CreateDirectory",
"type" : "ShellCommandActivity",
"workerGroup" : "wg-12345",
"command" : "mkdir new-directory"
}
```
## Pemasangan Runner Tugas
Bagian ini menjelaskan cara memasang dan mengonfigurasi Runner Tugas dan prasyaratnya. Pemasangan adalah proses manual yang mudah.
**Untuk memasang Runner Tugas**
1. Runner Tugas memerlukan Java versi 1.6 atau 1.8. Untuk menentukan apakah Java telah terpasang, dan versi yang sedang berjalan, gunakan perintah berikut:
```
java -version
```
Jika Anda tidak menginstal Java 1.6 atau 1.8 di komputer Anda, unduh salah satu versi ini dari [http://www.oracle. com/technetwork/java/index.html](http://www.oracle.com/technetwork/java/index.html). Unduh dan pasang Java, lalu lanjutkan ke langkah berikutnya.
1. Unduh `TaskRunner-1.0.jar` dari [https://s3.amazonaws.com/datapipeline-us-east-1/us-east-1/ software/latest/TaskRunner/TaskRunner -1.0.jar](https://s3.amazonaws.com/datapipeline-us-east-1/us-east-1/software/latest/TaskRunner/TaskRunner-1.0.jar) dan kemudian salin ke folder pada sumber daya komputasi target. Untuk klaster Amazon EMR yang menjalankan tugas `EmrActivity`, pasang Runner Tugas di simpul utama dari klaster.
1. Saat menggunakan Task Runner untuk terhubung ke layanan AWS Data Pipeline web untuk memproses perintah Anda, pengguna memerlukan akses terprogram ke peran yang memiliki izin untuk membuat atau mengelola pipeline data. Untuk informasi selengkapnya, lihat [Memberikan akses terprogram](dp-get-setup.md#dp-grant-programmatic-access).
1. Task Runner terhubung ke layanan AWS Data Pipeline web menggunakan HTTPS. Jika Anda menggunakan AWS sumber daya, pastikan HTTPS diaktifkan di tabel routing dan subnet ACL yang sesuai. Jika Anda menggunakan firewall atau proxy, pastikan port 443 terbuka.
# (Opsional) Memberikan Akses Runner Tugas ke Amazon RDS
Amazon RDS memungkinkan Anda mengendalikan akses ke instans DB Anda menggunakan grup keamanan basis data (grup keamanan DB). Grup keamanan DB bertindak seperti firewall yang mengendalikan akses jaringan ke instans DB Anda. Secara default, akses jaringan dimatikan untuk instans DB Anda. Anda harus memodifikasi grup keamanan DB Anda agar Runner Tugas dapat mengakses instans Amazon RDS Anda. Runner Tugas mendapatkan akses Amazon RDS dari instans yang dijalankannya, sehingga akun dan grup keamanan yang Anda tambahkan ke instans Amazon RDS bergantung pada tempat Anda menginstal Runner Tugas.
**Untuk memberikan akses ke Runner Tugas di EC2-Classic**
1. Buka konsol Amazon RDS.
1. Di panel navigasi, pilih **Instans**, lalu pilih instans DB Anda.
1. Di bawah **Keamanan dan Jaringan**, pilih grup keamanan, yang membuka halaman **Grup Keamanan** dengan grup keamanan DB ini dipilih. Pilih ikon detail untuk grup keamanan DB.
1. Di bawah **Detail Grup Keamanan**, buat aturan dengan **Tipe Koneksi** dan **Detail** yang sesuai. Bidang ini tergantung pada di mana Runner Tugas berjalan, seperti yang dijelaskan di sini:
+ `Ec2Resource`
+ **Tipe koneksi**: `EC2 Security Group`
**Detail**: *my-security-group-name* (nama grup keamanan yang Anda buat untuk instans EC2)
+ `EmrResource`
+ **Tipe koneksi**: `EC2 Security Group`
**Rincian**: `ElasticMapReduce-master`
+ **Tipe koneksi**: `EC2 Security Group`
**Rincian**: `ElasticMapReduce-slave`
+ Lingkungan lokal Anda (on-premise)
+ **Tipe koneksi**: `CIDR/IP`:
**Detail**: *my-ip-address* (alamat IP komputer Anda atau rentang alamat IP jaringan Anda, jika komputer Anda berada di belakang firewall)
1. Klik Tambahkan.
**Untuk memberikan akses ke Runner Tugas di EC2-VPC**
1. Buka konsol Amazon RDS.
1. Di panel navigasi, pilih **Instans**.
1. Pilih ikon detail untuk instans DB. Di bawah **Keamanan dan Jaringan**, buka tautan ke grup keamanan, yang membawa Anda ke konsol Amazon EC2. Jika Anda menggunakan desain konsol lama untuk grup keamanan, alihkan ke desain konsol baru dengan memilih ikon yang ditampilkan di bagian atas halaman konsol tersebut.
1. Pada tab **Masuk**, pilih **Edit**, **Tambahkan Peraturan**. Tentukan port basis data yang Anda gunakan saat meluncurkan instans DB. Sumbernya bergantung pada tempat Runner Tugas dijalankan, seperti yang dijelaskan di sini:
+ `Ec2Resource`
+ *my-security-group-id*(ID grup keamanan yang Anda buat untuk instans EC2)
+ `EmrResource`
+ *master-security-group-id*(ID grup `ElasticMapReduce-master` keamanan)
+ *slave-security-group-id*(ID grup `ElasticMapReduce-slave` keamanan)
+ Lingkungan lokal Anda (on-premise)
+ *ip-address*(alamat IP komputer Anda atau rentang alamat IP jaringan Anda, jika komputer Anda berada di belakang firewall)
1. Klik **Simpan**.
## Memulai Runner Tugas
Di jendela prompt perintah baru yang diatur ke direktori tempat Anda memasang Runner Tugas, mulai Runner Tugas dengan perintah berikut.
```
java -jar TaskRunner-1.0.jar --config ~/credentials.json --workerGroup=myWorkerGroup --region=MyRegion --logUri=s3://amzn-s3-demo-bucket/foldername
```
Opsi `--config` menunjuk ke file kredensial Anda.
Opsi `--workerGroup` menentukan nama grup pekerja Anda, yang harus memiliki nilai yang sama seperti yang ditentukan dalam alur Anda agar tugas dapat diproses.
Opsi `--region` menentukan wilayah layanan tempat menarik tugas untuk dieksekusi.
Opsi `--logUri` digunakan untuk mendorong log terkompresi Anda ke lokasi di Amazon S3.
Saat Runner Tugas aktif, ia mencetak jalur ke tempat berkas log ditulis di jendela terminal. Berikut adalah contohnya.
```
Logging to /Computer_Name/.../output/logs
```
Runner Tugas harus dijalankan terlepas dari shell login Anda. Jika Anda menggunakan aplikasi terminal untuk terhubung ke komputer Anda, Anda mungkin perlu menggunakan utilitas seperti nohup atau layar untuk mencegah aplikasi Runner Tugas keluar saat Anda log out. Untuk informasi selengkapnya tentang opsi baris perintah, lihat [Opsi Konfigurasi Runner Tugas](dp-taskrunner-config-options.md).
## Memverifikasi Pencatatan Runner Tugas
Cara termudah untuk memverifikasi bahwa Runner Tugas berfungsi adalah dengan memeriksa apakah ia menulis berkas log. Runner Tugas menulis berkas log per jam ke direktori, `output/logs`, di bawah direktori tempat Runner Tugas dipasang. Nama filenya adalah `Task Runner.log.YYYY-MM-DD-HH`, di mana HH berjalan dari 00 hingga 23, dalam UDT. Untuk menghemat ruang penyimpanan, file log apa pun yang lebih tua dari delapan jam dikompresi. GZip