Ikhtisar pengembangan cetak biru - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Ikhtisar pengembangan cetak biru

Langkah pertama dalam proses pengembangan Anda adalah mengidentifikasi kasus penggunaan umum yang akan memanfaatkan sebuah cetak biru. Sebuah kasus penggunaan biasa melibatkan masalah ETL berulang yang Anda yakini harus diselesaikan secara umum. Berikutnya, rancang sebuah cetak biru yang mengimplementasikan kasus penggunaan umum, dan tentukan parameter masukan cetak biru yang bersama-sama dapat menentukan kasus penggunaan spesifik dari kasus penggunaan umum.

Sebuah cetak biru terdiri dari sebuah proyek yang berisi file konfigurasi parameter cetak biru dan skrip yang mendefinisikan tata letak alur kerja yang akan dibuat. Tata letak tersebut menentukan tugas dan crawler (atau entitas dalam terminologi skrip cetak biru) yang akan dibuat.

Anda tidak secara langsung menentukan pemicu apa pun dalam skrip tata letak tersebut. Sebagai gantinya, Anda menulis kode untuk menentukan dependensi antara pekerjaan dan crawler yang dibuat skrip. AWS Gluemenghasilkan pemicu berdasarkan spesifikasi ketergantungan Anda. Output dari skrip tata letak tersebut adalah sebuah objek alur kerja, yang berisi spesifikasi untuk semua entitas alur kerja.

Anda membangun objek alur kerja menggunakan pustaka AWS Glue cetak biru berikut:

  • awsglue.blueprint.base_resource — Sebuah perpustakaan sumber daya dasar yang digunakan oleh perpustakaan tersebut.

  • awsglue.blueprint.workflow — Sebuah perpustakaan untuk mendefinisikan kelas Workflow.

  • awsglue.blueprint.job — Sebuah perpustakaan untuk mendefinisikan kelas Job.

  • awsglue.blueprint.crawler — Sebuah perpustakaan untuk mendefinisikan kelas Crawler.

Satu-satunya perpustakaan lain yang didukung untuk pembuatan tata letak adalah perpustakaan yang tersedia untuk shell Python.

Sebelum menerbitkan cetak biru Anda, Anda dapat menggunakan metode yang didefinisikan dalam perpustakaan cetak biru untuk menguji cetak biru secara lokal.

Ketika Anda siap untuk membuat cetak biru yang tersedia untuk analis data, maka Anda mengemas skrip, file konfigurasi parameter, dan file pendukung apa pun, seperti skrip dan perpustakaan tambahan, menjadi satu aset yang dapat di-deploy. Anda kemudian mengunggah aset ke Amazon S3 dan meminta administrator untuk mendaftarkannya. AWS Glue

Untuk informasi tentang contoh proyek cetak biru lainnya, lihat Contoh proyek cetak biru dan Sampel cetak biru.