Bekerja dengan Runner Tugas - AWS Data Pipeline

AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan Runner Tugas

Task Runner adalah aplikasi agen tugas yang melakukan polling AWS Data Pipeline untuk tugas terjadwal dan menjalankannya di EC2 instans Amazon, kluster EMR Amazon, atau sumber daya komputasi lainnya, melaporkan status saat melakukannya. Tergantung pada aplikasi Anda, Anda dapat memilih untuk:

  • Izinkan AWS Data Pipeline untuk menginstal dan mengelola satu atau lebih aplikasi Task Runner untuk Anda. Saat pipeline diaktifkan, default Ec2Instance atau EmrCluster objek yang direferensikan oleh runsOn bidang aktivitas akan dibuat secara otomatis. AWS Data Pipeline menangani instalasi Task Runner pada EC2 instance atau pada node master dari sebuah EMR cluster. Dalam pola ini, AWS Data Pipeline dapat melakukan sebagian besar instance atau manajemen cluster untuk Anda.

  • Jalankan semua atau sebagian alur pada sumber daya yang Anda kelola. Sumber daya potensial termasuk EC2 instans Amazon yang berjalan lama, EMR cluster Amazon, atau server fisik. Anda dapat menginstal task runner (yang dapat berupa Task Runner atau agen tugas khusus yang Anda rancang sendiri) hampir di mana saja, asalkan dapat berkomunikasi dengan layanan web. AWS Data Pipeline Dalam pola ini, Anda mengasumsikan kendali hampir penuh atas sumber daya mana yang digunakan dan bagaimana sumber daya tersebut dikelola, dan Anda harus memasang dan mengonfigurasi Runner Tugas secara manual. Untuk melakukannya, gunakan prosedur di bagian ini, seperti yang dijelaskan di Menjalankan Pekerjaan pada Sumber Daya yang Ada Menggunakan Runner Tugas.