Membuat alur kerja

Untuk membuat alur kerja dari cetak biru

1. Buka AWS Lake Formation konsol di https://console.aws.amazon.com/lakeformation/. Masuk sebagai administrator data lake atau sebagai pengguna yang memiliki izin insinyur data. Untuk informasi selengkapnya, lihat Referensi persona dan IAM izin Lake Formation.

2. Di panel navigasi, pilih Blueprints, lalu pilih Gunakan cetak biru.

3. Pada halaman Gunakan cetak biru, pilih ubin untuk memilih jenis cetak biru.

4. Di bawah Impor sumber, tentukan sumber data.

   Jika Anda mengimpor dari JDBC sumber, tentukan yang berikut ini:

   • Koneksi database —Pilih koneksi dari daftar. Buat koneksi tambahan menggunakan AWS Glue konsol. Nama JDBC pengguna dan kata sandi dalam koneksi menentukan objek database yang dapat diakses oleh alur kerja.

   • Jalur data sumber —Enter <database>/<schema>/<table> atau <database>/<table>, tergantung pada produk database. Oracle Database dan My SQL tidak mendukung skema di jalur. Anda dapat mengganti karakter persen (%) dengan <schema> atau <table>. Misalnya, untuk database Oracle dengan pengenal sistem (SID) dariorcl, masukkan orcl/% untuk mengimpor semua tabel yang pengguna nama dalam koneksi memiliki akses ke.

     penting

     Bidang ini peka huruf besar/kecil. Alur kerja akan gagal jika ada ketidakcocokan kasus untuk salah satu komponen.

     Jika Anda menentukan SQL database Saya, AWS Glue ETL gunakan JDBC driver Mysql5 secara default, jadi My tidak didukung secara SQL8 native. Anda dapat mengedit skrip ETL pekerjaan untuk menggunakan customJdbcDriverS3Path parameter seperti yang dijelaskan dalam JDBC connectionType Nilai dalam Panduan AWS Glue Pengembang untuk menggunakan JDBC driver lain yang mendukung MySQL8.

   Jika Anda mengimpor dari file log, pastikan bahwa peran yang Anda tentukan untuk alur kerja (“peran alur kerja”) memiliki IAM izin yang diperlukan untuk mengakses sumber data. Misalnya, untuk mengimpor AWS CloudTrail log, pengguna harus memiliki cloudtrail:LookupEvents izin cloudtrail:DescribeTrails dan untuk melihat daftar CloudTrail log saat membuat alur kerja, dan peran alur kerja harus memiliki izin pada lokasi di CloudTrail Amazon S3.

5. Lakukan salah satu hal berikut ini:

   • Untuk jenis cetak biru snapshot Database, identifikasi subset data yang akan diimpor secara opsional dengan menentukan satu atau beberapa pola pengecualian. Pola pengecualian ini adalah pola gaya Unixglob. Mereka disimpan sebagai properti dari tabel yang dibuat oleh alur kerja.

     Untuk detail tentang pola pengecualian yang tersedia, lihat Menyertakan dan Mengecualikan Pola di Panduan AWS Glue Pengembang.

   • Untuk jenis cetak biru database Incremental, tentukan bidang berikut. Tambahkan baris untuk setiap tabel untuk diimpor.

     Nama tabel

     Tabel untuk mengimpor. Harus semua huruf kecil.

     Tombol bookmark

     Daftar nama kolom yang dibatasi koma yang menentukan kunci bookmark. Jika kosong, kunci utama digunakan untuk menentukan data baru. Kasus untuk setiap kolom harus cocok dengan kasus seperti yang didefinisikan dalam sumber data.

     catatan

     Kunci primer memenuhi syarat sebagai kunci bookmark default hanya jika secara berurutan meningkat atau menurun (tanpa celah). Jika Anda ingin menggunakan kunci primer sebagai kunci bookmark dan memiliki celah, Anda harus memberi nama kolom kunci utama sebagai kunci bookmark.

     Urutan bookmark

     Saat Anda memilih Ascending, baris dengan nilai lebih besar dari nilai yang ditandai diidentifikasi sebagai baris baru. Saat Anda memilih Menurun, baris dengan nilai kurang dari nilai yang ditandai diidentifikasi sebagai baris baru.

     Skema pembagian

     (Opsional) Daftar kolom kunci partisi, dibatasi oleh garis miring (/). Contoh: year/month/day.

     

     Untuk informasi selengkapnya, lihat Melacak Data yang Diproses Menggunakan Bookmark Job di Panduan AWS Glue Pengembang.

6. Di bawah Impor target, tentukan database target, target lokasi Amazon S3, dan format data.

   Pastikan bahwa peran alur kerja memiliki izin Lake Formation yang diperlukan pada database dan lokasi target Amazon S3.

   catatan

   Saat ini, cetak biru tidak mendukung enkripsi data pada target.

7. Pilih frekuensi impor.

   Anda dapat menentukan cron ekspresi dengan opsi Kustom.

8. Di bawah opsi Impor:

   1. Masukkan nama alur kerja.

   2. Untuk peran, pilih peranLakeFormationWorkflowRole, yang Anda buat(Opsional) Buat IAM peran untuk alur kerja.

   3. Secara opsional menentukan awalan tabel. Awalan ditambahkan ke nama tabel Katalog Data yang dibuat alur kerja.

9. Pilih Buat, dan tunggu konsol melaporkan bahwa alur kerja berhasil dibuat.

   Tip

   Apakah Anda mendapatkan pesan kesalahan berikut?

   User: arn:aws:iam::<account-id>:user/<username> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/<rolename>...

   Jika demikian, periksa apakah Anda mengganti <account-id> dengan nomor AWS rekening yang valid di semua kebijakan.