Konversi ke SSIS dengan AWS GlueAWS SCT

Untuk mengonversi SSIS paket untuk AWS Glue menggunakan AWS SCT

1. Buat proyek baru di AWS SCT atau buka proyek yang sudah ada. Untuk informasi selengkapnya, lihat Memulai dan mengelola Proyek di AWS SCT.

2. Pilih Tambahkan sumber dari menu untuk menambahkan SSIS paket sumber baru ke proyek Anda.

3. Pilih Layanan Integrasi SQL Server dan lengkapi yang berikut ini:

   • Nama koneksi — Masukkan nama untuk koneksi Anda. AWS SCT menampilkan nama ini di pohon metadata.

   • SSISfolder paket - Pilih jalur ke folder SSIS proyek Anda dengan paket.

   AWS SCT membaca file proyek (file dengan ekstensi.dtsx, .conmgr atau.params) dari folder lokal dan menguraikannya. Kemudian mengaturnya ke dalam AWS SCT pohon kategori.

4. Pilih Tambahkan target dari menu untuk menambahkan platform target baru untuk mengonversi SSIS paket sumber Anda.

5. Pilih AWS Gluedan lengkapi yang berikut ini:

   • Nama koneksi — Masukkan nama untuk koneksi Anda. AWS SCT menampilkan nama ini di pohon metadata.

   • Salin dari AWS profil — Pilih profil yang akan digunakan.

   • AWS kunci akses — Masukkan kunci AWS akses Anda.

   • AWS kunci rahasia — Masukkan kunci AWS rahasia Anda.

   • Wilayah — Pilih Wilayah AWS yang ingin Anda gunakan dari daftar.

   • Folder bucket Amazon S3 — Masukkan jalur folder untuk bucket Amazon S3 yang akan Anda gunakan.

   Anda dapat menggunakan AWS Glue target virtual. Dalam hal ini, Anda tidak perlu menentukan kredensi koneksi. Untuk informasi selengkapnya, lihat Pemetaan ke target virtual di AWS Schema Conversion Tool.

6. Buat aturan pemetaan baru yang mencakup SSIS paket sumber dan AWS Glue target Anda. Untuk informasi selengkapnya, lihat Memetakan tipe data baru di AWS Schema Conversion Tool.

7. Pada menu Tampilan, pilih Tampilan utama.

8. Dalam tampilan SSIS pohon, buka menu konteks (klik kanan) untuk Manajer koneksi, lalu pilih Konfigurasi koneksi.

9. Konfigurasikan manajer koneksi proyek.

   Untuk mengkonfigurasi pemetaan SSIS koneksi untuk manajer koneksi, tentukan AWS Glue koneksi untuk manajer SSIS koneksi yang sesuai. Pastikan AWS Glue koneksi Anda sudah dibuat.

   1. Di bawah Koneksi, pilih Koneksi proyek.

   2. Untuk koneksi katalog Glue, pilih AWS Glue koneksi yang sesuai.

10. Konfigurasikan manajer koneksi paket:

    1. Di bawah Koneksi, pilih paket Anda.

    2. Untuk koneksi katalog Glue, pilih AWS Glue koneksi yang sesuai.

    3. Ulangi tindakan ini untuk semua koneksi yang tersedia untuk paket Anda.

11. Pilih Terapkan.

12. Konversikan paket Anda. Dalam tampilan pohon sumber, temukan Paket. Buka menu konteks (klik kanan) untuk paket Anda, lalu pilih Konversi paket.

13. Simpan skrip yang dikonversi ke Amazon S3. Dalam tampilan pohon target, temukan skrip Package. Buka menu konteks (klik kanan) untuk skrip yang dikonversi, lalu pilih Simpan ke S3.

14. Konfigurasikan AWS Glue pekerjaan Anda. Dalam tampilan pohon target, temukan skrip Package. Buka menu konteks (klik kanan) untuk skrip yang dikonversi, lalu pilih Konfigurasi AWS Glue pekerjaan.

15. Lengkapi tiga bagian konfigurasi:

    1. Lengkapi bagian aliran data Desain:

       • Strategi eksekusi — Pilih bagaimana pekerjaan Anda akan menjalankan ETL skrip. Pilih SEQUENTIALuntuk menjalankan skrip dalam urutan yang ditentukan dalam wizard. Pilih PARALLELuntuk menjalankan skrip secara paralel, mengabaikan urutan yang ditentukan dalam wizard.

       • Skrip — Pilih nama skrip Anda yang dikonversi.

       • Pilih Berikutnya.

    2. Lengkapi bagian Properti Job:

       • Nama — Masukkan nama AWS Glue pekerjaan Anda.

       • IAMPeran — Pilih IAM peran yang digunakan untuk otorisasi sumber daya yang digunakan untuk menjalankan pekerjaan dan mengakses penyimpanan data.

       • Nama file skrip — Masukkan nama skrip Anda yang telah dikonversi.

       • File skrip jalur S3 - Masukkan jalur Amazon S3 ke skrip yang dikonversi.

       • Enkripsi skrip menggunakan SSE -S3 - Pilih opsi ini untuk melindungi data menggunakan enkripsi sisi server dengan kunci enkripsi yang dikelola Amazon S3 (-S3). SSE

       • Direktori sementara — Masukkan jalur Amazon S3 ke direktori sementara untuk hasil perantara. AWS Glue dan transformasi AWS Glue bawaan menggunakan direktori ini untuk membaca atau menulis ke Amazon Redshift.

       • AWS SCT secara otomatis menghasilkan jalur untuk pustaka Python. Anda dapat meninjau jalur ini di jalur pustaka python yang dihasilkan. Anda tidak dapat mengedit jalur yang dibuat secara otomatis ini. Untuk menggunakan pustaka Python tambahan, masukkan jalur di jalur pustaka Python Pengguna.

       • Jalur pustaka python pengguna - Masukkan jalur untuk pustaka Python pengguna tambahan. Pisahkan jalur Amazon S3 dengan koma.

       • Jalur jar dependen - Masukkan jalur untuk file jar dependen. Pisahkan jalur Amazon S3 dengan koma.

       • Jalur file yang direferensikan — Masukkan jalur untuk file tambahan, seperti file konfigurasi, yang diperlukan oleh skrip Anda. Pisahkan jalur Amazon S3 dengan koma.

       • Kapasitas maksimum — Masukkan jumlah maksimum unit pemrosesan AWS Glue data (DPUs) yang dapat dialokasikan saat pekerjaan ini berjalan. Anda dapat memasukkan bilangan bulat dari 2 hingga 100. Defaultnya adalah 2.

       • Konkurensi maksimum - Masukkan jumlah maksimum proses bersamaan yang diizinkan untuk pekerjaan ini. Defaultnya adalah 1. AWS Glue mengembalikan kesalahan saat ambang batas ini tercapai.

       • Job timeout (menit) — Masukkan nilai batas waktu pada ETL pekerjaan Anda sebagai perlindungan terhadap pekerjaan yang melarikan diri. Default-nya adalah 2880 menit (48 jam) untuk tugas batch. Jika pekerjaan melebihi batas ini, status job run berubah menjadiTIMEOUT.

       • Ambang batas pemberitahuan tunda (menit) — Masukkan ambang batas dalam beberapa menit sebelum AWS SCT mengirim pemberitahuan penundaan.

       • Jumlah percobaan ulang — Masukkan berapa kali (0-10) yang AWS Glue akan secara otomatis memulai ulang pekerjaan jika gagal. Pekerjaan yang mencapai batas waktu tunggu tidak dimulai ulang. Default-nya adalah 0.

       • Pilih Berikutnya.

    3. Konfigurasikan koneksi yang diperlukan:

       1. Dari Semua koneksi, pilih AWS Glue koneksi yang diperlukan dan tambahkan ke daftar Koneksi yang dipilih.

       2. Pilih Selesai.

16. Buat AWS Glue pekerjaan yang dikonfigurasi. Dalam tampilan pohon target, temukan dan perluas ETLPekerjaan. Buka menu konteks (klik kanan) untuk ETL pekerjaan yang Anda konfigurasikan, lalu pilih Create AWS Glue Job.

17. Jalankan AWS Glue pekerjaan:

    1. Buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

    2. Di panel navigasi, pilih Tugas.

    3. Pilih Tambah pekerjaan, lalu pilih pekerjaan yang ingin Anda jalankan.

    4. Pada tab Tindakan, pilih Jalankan pekerjaan.