Menghubungkan ke Netezza dengan AWS Schema Conversion Tool - AWS Schema Conversion Tool
Hak istimewa untuk Netezza Menghubungkan ke Netezza sebagai sumberMengkonfigurasi replikasi data yang sedang berlangsungPengaturan konversi Netezza ke Amazon RedshiftPengaturan pengoptimalan konversi Netezza ke Amazon Redshift

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menghubungkan ke Netezza dengan AWS Schema Conversion Tool

Anda dapat menggunakan AWS SCT untuk mengonversi skema, objek kode, dan kode aplikasi dari Netezza ke Amazon Redshift.

Hak istimewa untuk Netezza sebagai sumber

Hak istimewa berikut diperlukan untuk menggunakan Netezza sebagai sumber:

  • pilih pada tampilan system.definition_schema.system

  • pilih pada tabel system.definition_schema.system

  • pilih pada tabel system.definition_schema.management

  • daftar di <database_name>

  • daftar di <schema_name>

  • daftar di <database_name>.all.table

  • daftar di <database_name>.all.external tabel.

  • daftar di <database_name>.semua.tampilan

  • daftar di <database_name>.all.materialized tampilan

  • daftar di <database_name>.all.procedure

  • daftar di <database_name>.all.sequence

  • daftar di <database_name>.all.fungsi

  • daftar di <database_name>.semua.agregat

Pada contoh sebelumnya, ganti placeholder sebagai berikut:

  • Ganti database_name dengan nama database sumber.

  • Ganti schema_name dengan nama skema sumber.

AWS SCT membutuhkan akses ke tabel dan tampilan sistem berikut. Anda dapat memberikan akses ke objek-objek ini alih-alih memberikan akses ke system.definition_schema.system view dan system.definition_schema.system tables dalam daftar sebelumnya.

  • pilih pada system.definition_schema. _t_agregat

  • pilih pada system.definition_schema. _t_class

  • pilih pada system.definition_schema. _t_kendala

  • pilih pada system.definition_schema. _t_const_relattr

  • pilih pada system.definition_schema. _t_database

  • pilih pada system.definition_schema. _t_grpobj_priv

  • pilih pada system.definition_schema. _t_grpusr

  • pilih pada system.definition_schema. _t_hist_config

  • pilih pada system.definition_schema. _t_objek

  • pilih pada system.definition_schema. _t_object_classes

  • pilih pada system.definition_schema. _t_proc

  • pilih pada system.definition_schema. _t_type

  • pilih pada system.definition_schema. _t_pengguna

  • pilih pada system.definition_schema. _t_usrobj_priv

  • pilih pada system.definition_schema. _vt_urutan

  • pilih pada system.definition_schema. _v_agregat

  • pilih pada system.definition_schema. _v_constraint_tergantung

  • pilih pada system.definition_schema. _v_basis data

  • pilih pada system.definition_schema. _v_tipe data

  • pilih pada system.definition_schema. _v_dslice

  • pilih pada system.definition_schema. _v_fungsi

  • pilih pada system.definition_schema. _v_grup

  • pilih pada system.definition_schema. _v_obj_relasi

  • pilih pada system.definition_schema. _v_obj_relasi_xdb

  • pilih pada system.definition_schema. _v_prosedur

  • pilih pada system.definition_schema. _v_hubungan_kolom

  • pilih pada system.definition_schema. _hubungan_keydata

  • pilih pada system.definition_schema. _v_relobjclasses

  • pilih pada system.definition_schema. _v_schema_xdb

  • pilih pada system.definition_schema. _v_urutan

  • pilih pada system.definition_schema. _v_sinonim

  • pilih pada system.definition_schema. _v_system_info

  • pilih pada system.definition_schema. _v_sys_kendala

  • pilih pada system.definition_schema. _v_sys_object_dslice_info

  • pilih pada system.definition_schema. _v_sys_pengguna

  • pilih pada system.definition_schema. _v_tabel

  • pilih pada system.definition_schema. _v_table_kendala

  • pilih pada system.definition_schema. _v_table_dist_map

  • pilih pada system.definition_schema. _v_table_organize_column

  • pilih pada system.definition_schema. _v_table_storage_stat

  • pilih pada system.definition_schema. _v_pengguna

  • pilih pada system.definition_schema. _v_lihat

  • pilih pada system.information_schema. _v_hubungan_kolom

  • pilih pada system.information_schema. _v_tabel

  • pilih pada $hist_column_access_*

Menghubungkan ke Netezza sebagai sumber

Gunakan prosedur berikut untuk terhubung ke database sumber Netezza Anda dengan file. AWS Schema Conversion Tool

Untuk terhubung ke database sumber Netezza

  1. Di dalam AWS Schema Conversion Tool, pilih Tambahkan sumber.

  2. Pilih Netezza, lalu pilih Berikutnya.

    Kotak dialog Tambah sumber muncul.

  3. Untuk nama Koneksi, masukkan nama untuk database Anda. AWS SCT menampilkan nama ini di pohon di panel kiri.

  4. Gunakan kredensi database dari AWS Secrets Manager atau masukkan secara manual:

    • Untuk menggunakan kredensi database dari Secrets Manager, gunakan petunjuk berikut:

      1. Untuk AWS Rahasia, pilih nama rahasianya.

      2. Pilih Isi untuk secara otomatis mengisi semua nilai di kotak dialog koneksi database dari Secrets Manager.

      Untuk informasi tentang menggunakan kredensil database dari Secrets Manager, lihat. Mengkonfigurasi AWS Secrets Manager di AWS Schema Conversion Tool

    • Untuk memasukkan informasi koneksi database sumber Netezza secara manual, gunakan instruksi berikut:

      Parameter Tindakan
      Nama server

      Masukkan nama Sistem Nama Domain (DNS) atau alamat IP server basis data sumber Anda.

      Port server

      Masukkan port yang digunakan untuk terhubung ke server database sumber Anda.

      Nama pengguna dan Kata Sandi

      Masukkan kredensi database untuk terhubung ke server basis data sumber Anda.

      AWS SCT menggunakan kata sandi untuk terhubung ke database sumber Anda hanya ketika Anda memilih untuk terhubung ke database Anda dalam sebuah proyek. Untuk mencegah mengekspos kata sandi untuk basis data sumber Anda, AWS SCT tidak menyimpan kata sandi secara default. Jika Anda menutup AWS SCT proyek Anda dan membukanya kembali, Anda akan diminta kata sandi untuk terhubung ke database sumber Anda sesuai kebutuhan.
      Menyimpan kata sandi

      AWS SCT membuat brankas aman untuk menyimpan SSL sertifikat dan kata sandi database. Dengan mengaktifkan opsi ini, Anda dapat menyimpan kata sandi database dan terhubung dengan cepat ke database tanpa harus memasukkan kata sandi.
      Jalur pengemudi Netezza

      Masukkan jalur ke driver yang akan digunakan untuk terhubung ke database sumber. Untuk informasi selengkapnya, lihat Menginstal JDBC driver untuk AWS Schema Conversion Tool.

      Jika Anda menyimpan jalur driver di pengaturan proyek global, jalur driver tidak muncul di kotak dialog koneksi. Untuk informasi selengkapnya, lihat Menyimpan jalur driver di pengaturan global.

  5. Pilih Uji Koneksi untuk memverifikasi bahwa AWS SCT dapat terhubung ke database sumber Anda.

  6. Pilih Connect untuk terhubung ke database sumber Anda.

Mengkonfigurasi replikasi data yang sedang berlangsung

Setelah mengonversi skema database Netezza dan menerapkannya ke database Amazon Redshift, Anda dapat memigrasi data dengan agen ekstraksi data. AWS SCT Agen mengekstrak data Anda dan mengunggahnya ke bucket Amazon S3 Anda. Anda kemudian dapat menggunakannya AWS SCT untuk menyalin data dari Amazon S3 ke Amazon Redshift.

Jika data dalam database sumber Anda berubah selama proses migrasi, Anda dapat menangkap perubahan yang sedang berlangsung dengan agen ekstraksi AWS SCT data Anda. Kemudian Anda dapat mereplikasi perubahan yang sedang berlangsung ini di database target Anda setelah Anda menyelesaikan migrasi data awal. Proses ini disebut replikasi data berkelanjutan atau change data capture (CDC).

Untuk mengonfigurasi replikasi data yang sedang berlangsung untuk migrasi dari Netezza ke Amazon Redshift

  1. Di database sumber Anda, buat database riwayat. Anda dapat menggunakan contoh kode berikut di antarmuka baris perintah Netezza ()CLI.

    nzhistcreatedb -d history_database_name -t query -v 1 -u load_user -o histdb_owner -p your_password

    Pada contoh sebelumnya, ganti history_database_name dengan nama database riwayat Anda. Selanjutnya, ganti load_user dengan nama pengguna yang telah Anda tentukan untuk memuat data riwayat ke database. Kemudian, ganti histdb_owner dengan nama pengguna yang telah Anda definisikan sebagai pemilik database riwayat. Pastikan Anda telah membuat pengguna ini dan memberikan CREATE DATABASE izin. Akhirnya, ganti your_password dengan kata sandi yang aman.

  2. Konfigurasikan pencatatan riwayat. Untuk melakukannya, gunakan contoh kode berikut.

    CREATE HISTORY CONFIGURATION history_configuration_name HISTTYPE QUERY
    DATABASE history_database_name USER load_user PASSWORD your_password COLLECT PLAN, COLUMN
    LOADINTERVAL 1 LOADMINTHRESHOLD 0 LOADMAXTHRESHOLD 0 STORAGELIMIT 25
    LOADRETRY 2 VERSION 1;

    Pada contoh sebelumnya, ganti history_configuration_name and history_database_name dengan nama-nama konfigurasi riwayat Anda dan database riwayat Anda. Selanjutnya, ganti load_user dengan nama pengguna yang telah Anda tentukan untuk memuat data riwayat ke database. Kemudian, ganti your_password dengan kata sandi yang aman.

  3. Berikan izin baca untuk semua tabel dalam database riwayat. Anda dapat menggunakan contoh kode berikut untuk memberikan SELECT izin.

    GRANT SELECT ON history_database_name.ALL.TABLE TO your_user;

    Pada contoh sebelumnya, ganti history_database_name dengan nama database riwayat Anda. Selanjutnya, ganti your_user dengan nama pengguna dengan izin minimal untuk bekerja dengan database Netezza Anda. Anda menggunakan kredensi pengguna database ini di. AWS SCT

  4. Kumpulkan statistik untuk setiap tabel dalam skema sumber Anda untuk mendapatkan informasi tentang kardinalitas kolom. Anda dapat menggunakan perintah berikut untuk menghasilkan statistik dalam database riwayat Anda.

    GENERATE STATISTICS on "schema_name"."table_name";

    Pada contoh sebelumnya, ganti schema_name and table_name dengan nama skema dan tabel database Anda.

  5. Pastikan Anda menyelesaikan prasyarat dengan menjalankan kueri berikut:

    SELECT COUNT(*) FROM history_database_name.history_schema_name."$hist_column_access_N";

    Pada contoh sebelumnya, ganti history_database_name and history_schema_name dengan nama database dan skema riwayat Anda. Selanjutnya, ganti N dengan nomor versi database riwayat Anda. Untuk informasi selengkapnya tentang versi database riwayat, lihat Dokumentasi IBMNetezza.

  6. Instal agen ekstraksi data Anda. Untuk informasi selengkapnya, lihat Instalasi agen ekstraksi.

    Pastikan bahwa {working.folder} parameter dalam settings.properties file untuk semua instance extractor menunjuk ke folder yang sama. Dalam hal ini, ekstraktor Anda dapat mengoordinasikan CDC sesi dan menggunakan satu titik transaksi untuk semua subtugas.

  7. Daftarkan agen ekstraksi data Anda. Untuk informasi selengkapnya, lihat Mendaftarkan agen ekstraksi dengan AWS Schema Conversion Tool.

  8. Buat CDC tugas Anda. Untuk informasi selengkapnya, lihat Membuat, menjalankan, dan memantau AWS SCT tugas.

    1. Buka proyek Anda di AWS SCT. Di panel kiri, pilih tabel sumber Anda. Buka menu konteks (klik kanan), dan pilih Buat tugas lokal.

    2. Untuk nama Tugas, masukkan nama deskriptif untuk tugas migrasi data Anda.

    3. Untuk mode Migrasi, pilih Ekstrak, unggah, dan salin.

    4. Pilih AktifkanCDC.

    5. Pilih tab CDCpengaturan dan tentukan ruang lingkup dan jadwal CDC sesi.

    6. Pilih Tugas uji untuk memverifikasi bahwa Anda dapat terhubung ke folder kerja, bucket Amazon S3, dan gudang data Amazon Redshift.

    7. Pilih Buat untuk membuat tugas Anda.

    8. Pilih tab Tugas, pilih tugas Anda dari daftar, dan pilih Mulai.

  9. AWS SCT Tugas menjaga konsistensi transaksional pada database target. Agen ekstraksi data mereplikasi transaksi dari sumber dalam urutan ID transaksi.

    Jika Anda menghentikan salah satu sesi migrasi atau jika gagal, maka CDC pemrosesan juga berhenti.

Pengaturan konversi Netezza ke Amazon Redshift

Untuk mengedit pengaturan konversi Netezza ke Amazon Redshift, pilih Pengaturan AWS SCT di, lalu pilih Pengaturan konversi. Dari daftar atas, pilih Netezza, lalu pilih Netezza - Amazon Redshift. AWS SCT menampilkan semua pengaturan yang tersedia untuk konversi Netezza ke Amazon Redshift.

Pengaturan konversi Netezza ke Amazon Redshift AWS SCT di menyertakan opsi untuk hal berikut:

  • Untuk membatasi jumlah komentar dengan item tindakan dalam kode yang dikonversi.

    Untuk Tambahkan komentar di kode yang dikonversi untuk item tindakan dengan tingkat keparahan yang dipilih dan lebih tinggi, pilih tingkat keparahan item tindakan. AWS SCT menambahkan komentar dalam kode yang dikonversi untuk item tindakan dengan tingkat keparahan yang dipilih dan lebih tinggi.

    Misalnya, untuk meminimalkan jumlah komentar dalam kode yang dikonversi, pilih Error only. Untuk menyertakan komentar untuk semua item tindakan dalam kode yang dikonversi, pilih Semua pesan.

  • Untuk mengatur jumlah maksimum tabel yang AWS SCT dapat diterapkan ke cluster Amazon Redshift target Anda.

    Untuk Jumlah maksimum tabel untuk klaster Amazon Redshift target, pilih jumlah tabel yang AWS SCT dapat diterapkan ke cluster Amazon Redshift Anda.

    Amazon Redshift memiliki kuota yang membatasi tabel penggunaan untuk jenis node cluster yang berbeda. Jika Anda memilih Otomatis, AWS SCT tentukan jumlah tabel yang akan diterapkan ke klaster Amazon Redshift target Anda tergantung pada jenis node. Secara opsional, pilih nilai secara manual. Untuk informasi selengkapnya, lihat Kuota dan batasan di Amazon Redshift dalam Panduan Manajemen Amazon Redshift.

    AWS SCT mengonversi semua tabel sumber Anda, meskipun ini lebih dari yang dapat disimpan oleh cluster Amazon Redshift Anda. AWS SCT menyimpan kode yang dikonversi dalam proyek Anda dan tidak menerapkannya ke database target. Jika Anda mencapai kuota klaster Amazon Redshift untuk tabel saat Anda menerapkan kode yang dikonversi, maka akan AWS SCT menampilkan pesan peringatan. Selain itu, AWS SCT terapkan tabel ke cluster Amazon Redshift target Anda hingga jumlah tabel mencapai batas.

  • Untuk menerapkan kompresi ke kolom tabel Amazon Redshift. Untuk melakukannya, pilih Gunakan pengkodean kompresi.

    AWS SCT menetapkan pengkodean kompresi ke kolom secara otomatis menggunakan algoritme Amazon Redshift default. Untuk informasi selengkapnya, lihat Pengkodean kompresi di Panduan Pengembang Database Amazon Redshift.

    Secara default, Amazon Redshift tidak menerapkan kompresi ke kolom yang didefinisikan sebagai kunci pengurutan dan distribusi. Anda dapat mengubah perilaku ini dan menerapkan kompresi ke kolom ini. Untuk melakukannya, pilih Gunakan pengkodean kompresi untuk KEY kolom. Anda dapat memilih opsi ini hanya ketika Anda memilih opsi Gunakan pengkodean kompresi.

Pengaturan pengoptimalan konversi Netezza ke Amazon Redshift

Untuk mengedit pengaturan pengoptimalan konversi Netezza ke Amazon Redshift, pilih Pengaturan AWS SCT di, lalu pilih Pengaturan konversi. Dari daftar atas, pilih Netezza, lalu pilih Netezza - Amazon Redshift. Di panel kiri, pilih Strategi optimasi. AWS SCT menampilkan pengaturan pengoptimalan konversi untuk konversi Netezza ke Amazon Redshift.

Pengaturan pengoptimalan konversi Netezza ke Amazon Redshift AWS SCT di menyertakan opsi untuk hal berikut:

  • Untuk bekerja dengan optimasi tabel otomatis. Untuk melakukannya, pilih Gunakan penyetelan tabel otomatis Amazon Redshift.

    Optimalisasi tabel otomatis adalah proses self-tuning di Amazon Redshift yang secara otomatis mengoptimalkan desain tabel. Untuk informasi selengkapnya, lihat Bekerja dengan pengoptimalan tabel otomatis di Panduan Pengembang Database Amazon Redshift.

    Untuk hanya mengandalkan optimasi tabel otomatis, pilih None for Initial key selection strategy.

  • Untuk memilih kunci sortir dan distribusi menggunakan strategi Anda.

    Anda dapat memilih kunci sortir dan distribusi menggunakan metadata Amazon Redshift, informasi statistik, atau kedua opsi ini. Untuk strategi pemilihan kunci awal pada tab Strategi optimasi, pilih salah satu opsi berikut:

    • Gunakan metadata, abaikan informasi statistik

    • Abaikan metadata, gunakan informasi statistik

    • Gunakan metadata dan informasi statistik

    Bergantung pada opsi yang Anda pilih, Anda dapat memilih strategi pengoptimalan. Kemudian, untuk setiap strategi, masukkan nilainya (0-100). Nilai-nilai ini menentukan bobot setiap strategi. Dengan menggunakan nilai bobot ini, AWS SCT mendefinisikan bagaimana setiap aturan mempengaruhi pilihan distribusi dan kunci pengurutan. Nilai default didasarkan pada praktik terbaik AWS migrasi.

    Anda dapat menentukan ukuran tabel kecil untuk strategi Temukan tabel kecil. Untuk jumlah baris tabel Min dan jumlah baris tabel Maks, masukkan jumlah baris minimum dan maksimum dalam tabel untuk mendefinisikannya sebagai tabel kecil. AWS SCT menerapkan gaya ALL distribusi ke tabel kecil. Dalam hal ini, salinan seluruh tabel didistribusikan ke setiap node.

  • Untuk mengkonfigurasi detail strategi.

    Selain menentukan bobot untuk setiap strategi pengoptimalan, Anda dapat mengonfigurasi pengaturan pengoptimalan. Untuk melakukannya, pilih Optimasi konversi.

    • Untuk Batas kolom kunci Urutkan, masukkan jumlah kolom maksimum di tombol sortir.

    • Untuk nilai ambang miring, masukkan persentase (0-100) dari nilai miring untuk kolom. AWS SCT mengecualikan kolom dengan nilai miring lebih besar dari ambang batas dari daftar kandidat untuk kunci distribusi. AWS SCT mendefinisikan nilai miring untuk kolom sebagai rasio persentase dari jumlah kemunculan nilai yang paling umum dengan jumlah total catatan.

    • Untuk kueri N Teratas dari tabel riwayat kueri, masukkan nomor (1-100) kueri yang paling sering digunakan untuk dianalisis.

    • Untuk Pilih pengguna statistik, pilih pengguna database yang ingin Anda analisis statistik kueri.

    Juga, pada tab Strategi optimasi, Anda dapat menentukan ukuran tabel kecil untuk strategi Temukan tabel kecil. Untuk jumlah baris tabel Min dan Jumlah baris tabel maks, masukkan jumlah baris minimum dan maksimum dalam tabel untuk menganggapnya sebagai tabel kecil. AWS SCT menerapkan gaya ALL distribusi ke tabel kecil. Dalam hal ini, salinan seluruh tabel didistribusikan ke setiap node.