Menghubungkan ke data - AWS Glue
Gambaran umum menggunakan konektor dan koneksi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menghubungkan ke data

AWS Glue Koneksi adalah objek Katalog Data yang menyimpan kredensi login, URI string, informasi virtual private cloud (VPC), dan lainnya untuk penyimpanan data tertentu. AWS Glue crawler, pekerjaan, dan titik akhir pengembangan menggunakan koneksi untuk mengakses jenis penyimpanan data tertentu. Anda dapat menggunakan koneksi untuk sumber dan target, dan menggunakan kembali koneksi yang sama di beberapa crawler atau extract, transform, dan load (ETL) job.

Gambaran umum menggunakan konektor dan koneksi

Sebuah koneksi berisi properti yang diperlukan untuk connect ke penyimpanan data tertentu. Ketika Anda membuat sebuah koneksi, ia disimpan dalam AWS Glue Data Catalog. Anda memilih sebuah konektor, dan kemudian membuat sebuah koneksi berdasarkan konektor tersebut.

Anda dapat berlangganan konektor untuk penyimpanan data yang tidak didukung secara asli AWS Marketplace, dan kemudian menggunakan konektor tersebut saat Anda membuat koneksi. Para developer juga dapat membuat konektor mereka sendiri, dan Anda dapat menggunakannya saat membuat koneksi.

catatan

Koneksi yang dibuat menggunakan kustom atau AWS Marketplace konektor AWS Glue Studio muncul di AWS Glue konsol dengan jenis yang disetel keUNKNOWN.

Langkah-langkah berikut menjelaskan keseluruhan proses penggunaan konektor di AWS Glue Studio:

  1. Berlangganan konektor di AWS Marketplace, atau kembangkan konektor Anda sendiri dan unggah ke AWS Glue Studio. Untuk informasi selengkapnya, lihat Menambahkan konektor ke AWS Glue Studio.

  2. Tinjau informasi penggunaan konektor. Anda dapat menemukan informasi ini di tab Penggunaan pada halaman produk konektor. Misalnya, jika Anda mengklik tab Penggunaan di halaman produk ini, AWS Glue Konektor untuk Google BigQuery, Anda dapat melihat di bagian Sumber Daya Tambahan tautan ke blog tentang penggunaan konektor ini. Konektor lain mungkin berisi tautan ke petunjuk di bagian Gambaran Umum, seperti yang ditunjukkan pada halaman produk konektor untuk Konektor Cloudwatch Logs untuk AWS Glue.

  3. Buat sebuah koneksi. Anda memilih konektor mana yang akan digunakan dan memberikan informasi tambahan untuk koneksi, seperti kredensi login, URI string, dan informasi virtual private cloud ()VPC. Untuk informasi selengkapnya, lihat Membuat koneksi untuk konektor.

  4. Buat IAM peran untuk pekerjaan Anda. Pekerjaan mengasumsikan izin IAM peran yang Anda tentukan saat Anda membuatnya. IAMPeran ini harus memiliki izin yang diperlukan untuk mengautentikasi, mengekstrak data dari, dan menulis data ke penyimpanan data Anda.

  5. Buat ETL pekerjaan dan konfigurasikan properti sumber data untuk ETL pekerjaan Anda. Sediakan opsi koneksi dan informasi autentikasi seperti yang diperintahkan oleh penyedia konektor kustom. Untuk informasi selengkapnya, lihat Menulis tugas dengan konektor kustom.

  6. Sesuaikan ETL pekerjaan Anda dengan menambahkan transformasi atau penyimpanan data tambahan, seperti yang dijelaskan dalamMemulai ETL pekerjaan visual di AWS Glue Studio.

  7. Jika menggunakan konektor untuk target data, konfigurasikan properti target data untuk ETL pekerjaan Anda. Sediakan opsi koneksi dan informasi autentikasi seperti yang diperintahkan oleh penyedia konektor kustom. Untuk informasi selengkapnya, lihat Menulis tugas dengan konektor kustom.

  8. Sesuaikan lingkungan eksekusi tugas dengan mengkonfigurasi properti tugas, seperti yang dijelaskan dalam Mengubah properti tugas.

  9. Jalankan tugas.