Membuat dan membangun alur kerja secara manual di AWS Glue - AWS Glue
Langkah 1: Buat alur kerjaLangkah 2: Tambahkan pemicu awalLangkah 3: Tambahkan lebih banyak pemicu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat dan membangun alur kerja secara manual di AWS Glue

Anda dapat menggunakan konsol AWS Glue untuk membuat dan membangun alur kerja satu simpul secara manual pada satu waktu.

Alur kerja berisi tugas, crawler, dan pemicu. Sebelum membuat alur kerja secara manual, buat tugas dan crawler yang harus disertakan alur kerja. Yang terbaik adalah menentukan run-on-demand crawler untuk alur kerja. Anda dapat membuat pemicu baru saat sedang membangun alur kerja Anda, atau Anda dapat kloning pemicu yang ada ke dalam alur kerja tersebut. Ketika Anda melakukan kloning pemicu, semua objek katalog yang dikaitkan dengan pemicu—tugas atau crawler yang mengaktifkannya dan tugas atau crawler yang dimulai—ditambahkan ke alur kerja tersebut.

penting

Batasi jumlah total pekerjaan, crawler, dan pemicu dalam alur kerja hingga 100 atau kurang. Jika Anda menyertakan lebih dari 100, Anda mungkin mendapatkan kesalahan saat mencoba melanjutkan atau menghentikan alur kerja berjalan.

Anda membangun alur kerja dengan menambahkan pemicu ke grafik alur kerja, dan menentukan peristiwa dan tindakan yang diawasi untuk setiap pemicu. Anda mulai dengan pemicu mulai, yang dapat berupa pemicu sesuai permintaan atau terjadwal, dan selesaikan grafik dengan menambahkan pemicu peristiwa (bersyarat).

Langkah 1: Buat alur kerja

  1. Masuk ke AWS Management Console, lalu buka konsol AWS Glue di https://console.aws.amazon.com/glue/.

  2. Di panel navigasi, pada ETL, pilih Alur kerja.

  3. Pilih Tambahkan alur kerja dan isi lengkap formulir Tambahkan alur kerja ETL baru.

    Setiap properti eksekusi default opsional yang Anda tambahkan disediakan sebagai argumen untuk semua tugas di alur kerja. Untuk informasi selengkapnya, lihat Mendapatkan dan mengatur alur kerja menjalankan properti di AWS Glue.

  4. Pilih Tambahkan alur kerja.

    Alur kerja baru muncul dalam daftar di halaman alur kerja.

Langkah 2: Tambahkan pemicu awal

  1. Pada halaman alur kerja, pilih alur kerja baru Anda. Kemudian, di bagian bawah halaman, pastikan bahwa tab Grafik sudah dipilih.

  2. Pilih Tambahkan pemicu, dan di kotak dialog Tambahkan pemicu, lakukan salah satu hal berikut:

    • Pilih Kloning yang ada, dan pilih pemicu yang akan dikloning. Kemudian pilih Add.

      Pemicu muncul pada grafik, bersama dengan tugas dan crawler yang diawasi dan tugas dan crawler yang dimulai.

      Jika Anda keliru memilih pemicu yang salah, pilih pemicu pada grafik, dan kemudian pilih Hapus.

    • Pilih Tambah baru, dan isi lengkap Tambahkan pemicu.

      1. Untuk jenis Pemicu, pilih Jadwal, Sesuai permintaan, atau EventBridgeacara.

        Untuk tipe pemicu Jadwal, pilih salah satu pilihan Frekuensi. Pilih Kustom untuk memasukkan ekspresi cron.

        Untuk EventBridge peristiwa jenis pemicu, masukkan Jumlah peristiwa (ukuran batch), dan secara opsional masukkan Waktu tunda (jendela batch). Jika Anda menghilangkan Waktu tunda, jendela batch secara default menjadi 15 menit. Untuk informasi selengkapnya, lihat Ikhtisar alur kerja di AWS Glue.

      2. Pilih Tambahkan.

      Pemicu muncul pada grafik, bersama dengan simpul placeholder (berlabel Tambahkan simpul). Pada contoh di bawah ini, pemicu mulai adalah pemicu jadwal bernama Month-close1.

      Pada titik ini, pemicunya masih belum disimpan.

      Sebuah grafik dengan dua simpul persegi panjang: sebuah pemicu, dan sebuah simpul placeholder. Sebuah panah mengarahkan dari simpul pemicu ke simpul placeholder.

  3. Jika Anda menambahkan sebuah pemicu baru, selesaikan langkah-langkah berikut:

    1. Lakukan salah satu dari berikut:

      • Pilih simpul placeholder (Tambahkan simpul).

      • Pastikan bahwa pemicu mulai sudah dipilih, dan pada menu Tindakan di atas grafik, pilih Tambahkan tugas/crawler yang akan dipicu.

    2. Di kotak dialog Tambahkan tugas dan crawler yang akan dipicu, pilih satu atau beberapa tugas atau crawler, dan kemudian pilih Tambahkan.

      Pemicu disimpan, dan tugas atau crawler yang dipilih muncul pada grafik dengan konektor dari pemicu.

      Jika Anda keliru menambahkan tugas atau crawler yang salah, maka Anda dapat memilih pemicu atau konektor dan kemudian pilih Hapus.

Langkah 3: Tambahkan lebih banyak pemicu

Lanjutkan untuk membangun alur kerja Anda dengan menambahkan lebih banyak pemicu jenis Peristiwa. Untuk memperbesar atau memperkecil kanvas grafik, gunakan ikon di sebelah kanan grafik. Untuk setiap pemicu yang akan ditambahkan, selesaikan langkah berikut:

catatan

Tidak ada tindakan yang bisa digunakan untuk menyimpan alur kerja. Setelah Anda menambahkan pemicu terakhir Anda dan menetapkan tindakan ke pemicu, alur kerja selesai dan disimpan. Anda selalu dapat kembali dan menambahkan lebih banyak simpul nanti.

  1. Lakukan salah satu dari berikut:

    • Untuk mengkloning pemicu yang ada, pastikan bahwa tidak ada simpul pada grafik yang dipilih, dan pada menu Tindakan, pilih Tambahkan pemicu.

    • Untuk menambahkan pemicu baru yang mengawasi tugas atau crawler tertentu pada grafik, pilih simpul tugas atau crawler, lalu pilih simpul placeholder Tambahkan pemicu.

      Anda dapat menambahkan lebih banyak tugas atau crawler untuk mengawasi pemicu ini di langkah berikutnya.

  2. Di kotak dialog Tambahkan pemicu, lakukan salah satu hal berikut:

    • Pilih Tambah baru, dan isi lengkap Tambahkan pemicu. Kemudian pilih Add.

      Pemicu akan muncul pada grafik. Anda akan menyelesaikan pemicu di langkah berikutnya.

    • Pilih Kloning yang ada, dan pilih pemicu yang akan dikloning. Kemudian pilih Add.

      Pemicu muncul pada grafik, bersama dengan tugas dan crawler yang diawasi dan tugas dan crawler yang dimulai.

      Jika Anda keliru memilih pemicu yang salah, pilih pemicu pada grafik, dan kemudian pilih Hapus.

  3. Jika Anda menambahkan sebuah pemicu baru, selesaikan langkah-langkah berikut:

    1. Pilih pemicu baru.

      Sebagaimana yang ditunjukkan pada grafik berikut, pemicu De-dupe/fix succeeded sudah dipilih, dan simpul placeholder muncul untuk (1) peristiwa yang akan diawasi dan (2) tindakan.

      Sebuah grafik dengan banyak simpul, dua di antaranya adalah simpul placeholder yang dipanggil sebagai angka 1 dan 2.

    2. (Opsional jika pemicu sudah mengawasi peristiwa dan Anda ingin menambahkan lebih banyak tugas atau crawler untuk diawasi.) Pilih node events-to-watch placeholder, dan di kotak dialog Tambah pekerjaan dan crawler untuk menonton, pilih satu atau beberapa pekerjaan atau crawler. Pilih peristiwa yang akan diawasi (BERHASIL, GAGAL, dll.), dan pilih Tambahkan.

    3. Pastikan bahwa pemicu sudah dipilih, dan pilih simpul placeholder tindakan.

    4. Di kotak dialog Tambahkan tugas dan crawler yang akan diawasi, pilih satu atau beberapa tugas atau crawler, lalu pilih Tambahkan.

      Tugas dan crawler yang dipilih muncul pada grafik dengan konektor dari pemicu.

Untuk informasi selengkapnya tentang alur kerja dan cetak biru, lihat topik berikut.