Bekerja dengan ETL integrasi nol Aurora dengan Amazon Redshift - Amazon Aurora
ManfaatKonsep utamaBatasanKuotaWilayah yang Didukung

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan ETL integrasi nol Aurora dengan Amazon Redshift

ETLIntegrasi nol Aurora dengan Amazon Redshift memungkinkan analisis real-time dan pembelajaran mesin (ML) menggunakan Amazon Redshift pada petabyte data transaksional dari Aurora. Ini adalah solusi yang dikelola sepenuhnya untuk membuat data transaksional tersedia di Amazon Redshift setelah ditulis ke cluster Aurora DB. Extract, transform, dan load (ETL) adalah proses menggabungkan data dari berbagai sumber menjadi gudang data sentral yang besar.

ETLIntegrasi nol membuat data dalam cluster Aurora DB RDS Anda tersedia di Amazon Redshift dalam waktu dekat. Setelah data tersebut berada di Amazon Redshift, Anda dapat memberi daya pada beban kerja analitik, ML, dan AI menggunakan kemampuan bawaan Amazon Redshift, seperti pembelajaran mesin, tampilan terwujud, berbagi data, akses gabungan ke beberapa penyimpanan data dan data lake, dan integrasi dengan Amazon, Amazon, dan lainnya SageMaker QuickSight Layanan AWS.

Untuk membuat ETL integrasi nol, Anda menentukan cluster Aurora DB RDS sebagai sumber, dan gudang data Amazon Redshift sebagai target. Integrasi ini mereplikasi data dari basis data sumber ke gudang data target.

Diagram berikut menggambarkan fungsi ini:

ETLIntegrasi nol

Integrasi memantau kondisi pipeline data dan memulihkan dari masalah jika memungkinkan. Anda dapat membuat integrasi dari beberapa DB ke dalam satu namespace Amazon Redshift, memungkinkan Anda memperoleh wawasan di beberapa aplikasi.

Untuk informasi tentang penetapan harga untuk ETL integrasi nol, lihat Aurora dan harga Amazon Redshift.

Topik

Manfaat

ETLIntegrasi Aurora zero- dengan Amazon Redshift memiliki manfaat sebagai berikut:

  • Membantu Anda memperoleh wawasan menyeluruh dari berbagai sumber data.

  • Menghilangkan kebutuhan untuk membangun dan memelihara jaringan data kompleks yang melakukan operasi ekstrak, transformasi, dan beban (ETL). ETLIntegrasi nol menghilangkan tantangan yang datang dengan membangun dan mengelola jaringan pipa dengan menyediakan dan mengelolanya untuk Anda.

  • Mengurangi beban dan biaya operasional, serta membantu Anda fokus pada peningkatan aplikasi Anda.

  • Memungkinkan Anda memanfaatkan analitik Amazon Redshift dan kemampuan ML untuk memperoleh wawasan dari data transaksional dan data lainnya, guna merespons secara efektif peristiwa kritis dan sensitif terhadap waktu.

Konsep utama

Saat Anda memulai dengan nol- ETL integrasi, pertimbangkan konsep-konsep berikut:

Integrasi

Pipa data terkelola sepenuhnya yang secara otomatis mereplikasi data dan skema transaksional dari basis data cluster DB ke gudang data Amazon Redshift.

sumber DB cluster

Aurora DB cluster tempat data direplikasi. Untuk Aurora MySQL, Anda dapat menentukan cluster DB yang menggunakan instans DB yang disediakan atau Aurora Serverless v2 Instans DB sebagai sumbernya. Untuk SQL pratinjau Aurora Postgre, Anda hanya dapat menentukan klaster yang menggunakan instans DB yang disediakan.

Gudang data target

Gudang data Amazon Redshift tempat tujuan data direplikasi. Ada dua jenis gudang data: gudang data klaster terprovisi dan gudang data nirserver. Gudang data klaster terprovisi adalah kumpulan sumber daya komputasi yang disebut simpul, yang diatur ke dalam grup yang disebut klaster. Gudang data nirserver terdiri dari grup kerja yang menyimpan sumber daya komputasi, serta ruang nama yang menampung objek basis data dan pengguna. Kedua gudang data ini menjalankan mesin Amazon Redshift dan berisi satu atau beberapa basis data.

Beberapa sumber DB cluster dapat menulis ke target yang sama.

Untuk informasi selengkapnya, lihat Arsitektur sistem gudang data dalam Panduan Developer Amazon Redshift.

Batasan

Batasan berikut berlaku untuk ETL integrasi nol Aurora dengan Amazon Redshift.

Batasan umum

  • Cluster DB sumber harus berada di Wilayah yang sama dengan gudang data Amazon Redshift target.

  • Anda tidak dapat mengganti nama cluster DB atau instance-nya jika memiliki integrasi yang ada.

  • Anda tidak dapat membuat beberapa integrasi antara database sumber dan target yang sama.

  • Anda tidak dapat menghapus cluster DB yang memiliki integrasi yang ada. Anda harus menghapus semua integrasi yang terkait terlebih dahulu.

  • Jika Anda menghentikan cluster DB sumber, beberapa transaksi terakhir mungkin tidak direplikasi ke gudang data target sampai Anda melanjutkan cluster .

  • Jika kluster Anda adalah sumber penerapan biru/hijau, lingkungan biru dan hijau tidak dapat memiliki ETL integrasi nol yang ada selama peralihan. Anda harus menghapus integrasi tersebut terlebih dahulu dan beralih, lalu membuat ulang integrasi.

  • Cluster DB harus berisi setidaknya satu instans DB untuk menjadi sumber integrasi.

  • Jika klaster sumber Anda adalah klaster DB primer dalam basis data global Aurora dan melakukan failover ke salah satu klaster sekundernya, integrasi menjadi tidak aktif. Anda harus menghapus dan membuat ulang integrasi.

  • Anda tidak dapat membuat integrasi untuk database sumber yang memiliki integrasi lain yang sedang dibuat secara aktif.

  • Saat Anda pertama kali membuat integrasi, atau ketika tabel sedang disinkronkan ulang, seeding data dari sumber ke target dapat memakan waktu 20-25 menit atau lebih tergantung ukuran basis data sumber. Penundaan ini dapat menyebabkan peningkatan lag replika.

  • Beberapa jenis data tidak didukung. Untuk informasi selengkapnya, lihat Perbedaan tipe data antara database Aurora dan Amazon Redshift.

  • Transaksi XA tidak didukung.

  • Pengidentifikasi objek (termasuk nama basis data, nama tabel, nama kolom, dan lainnya) hanya dapat berisi karakter alfanumerik, angka, $, dan _ (garis bawah).

  • Tabel sistem, tabel sementara, dan tampilan tidak direplikasi ke Amazon Redshift.

Keterbatasan saya SQL

  • Cluster DB sumber Anda harus menjalankan versi Aurora My yang didukung. SQL Untuk daftar versi yang didukung, lihat Daerah yang Didukung dan engine Aurora DB untuk ETL integrasi nol dengan Amazon Redshift.

  • ETLIntegrasi nol bergantung pada pencatatan SQL biner saya (binlog) untuk menangkap perubahan data yang sedang berlangsung. Jangan gunakan pemfilteran data berbasis binlog, karena dapat menyebabkan inkonsistensi data antara basis data sumber dan target.

  • ETLIntegrasi nol didukung hanya untuk database yang dikonfigurasi untuk menggunakan mesin penyimpanan InnoDB.

  • Referensi kunci asing dengan pembaruan tabel yang telah ditentukan sebelumnya tidak didukung. Secara khusus, ON DELETE dan ON UPDATE aturan tidak didukung denganCASCADE,SET NULL, dan SET DEFAULT tindakan. Mencoba membuat atau memperbarui tabel dengan referensi tersebut ke tabel lain akan menempatkan tabel ke dalam keadaan gagal.

  • ALTER TABLEoperasi partisi menyebabkan tabel Anda melakukan sinkronisasi ulang untuk memuat ulang data dari Aurora ke Amazon Redshift. Tabel tidak akan tersedia untuk kueri saat disinkronkan ulang. Untuk informasi selengkapnya, lihat Satu atau beberapa tabel Amazon Redshift saya memerlukan sinkronisasi ulang.

Batasan pratinjau Aurora Postgre SQL

penting

Pratinjau berakhir: Pratinjau untuk integrasi SQL nol Aurora Postgre ETL dengan Amazon Redshift telah berakhir. Kami menghargai partisipasi dan umpan balik Anda. Nantikan pembaruan lebih lanjut tentang ketersediaan dan penyempurnaan fitur.

  • Cluster DB sumber Anda harus menjalankan Aurora Postgre SQL (kompatibel dengan Postgre 15.4 dan Zero- SQL Support). ETL

  • Anda dapat membuat dan mengelola ETL integrasi nol untuk Aurora SQL Postgre hanya di Lingkungan Pratinjau Basis Data RDS Amazon, di Timur AS (Ohio) (us-east-2) Wilayah AWS. Anda dapat menggunakan lingkungan pratinjau untuk menguji beta, kandidat rilis, dan versi produksi awal perangkat lunak mesin SQL database Postgre.

  • Anda dapat membuat dan mengelola integrasi untuk Aurora SQL Postgre hanya menggunakan AWS Management Console. Anda tidak dapat menggunakan AWS Command Line Interface (AWS CLI), Amazon RDSAPI, atau salah satu AWS SDKs.

  • Saat Anda membuat klaster DB sumber, grup parameter yang Anda pilih harus sudah mengonfigurasi nilai parameter klaster DB yang diperlukan. Anda tidak dapat membuat grup parameter baru setelahnya lalu mengaitkannya dengan klaster. Untuk daftar parameter yang diperlukan, lihat Langkah 1: Buat grup parameter klaster DB kustom.

  • Anda tidak dapat memodifikasi integrasi setelah Anda membuatnya. Jika perlu mengubah pengaturan tertentu, Anda harus menghapus dan membuat ulang integrasi.

  • Saat ini, klaster Aurora Postgre SQL DB yang merupakan sumber integrasi tidak melakukan pengumpulan sampah data replikasi logis.

  • Semua database yang dibuat dalam sumber Aurora SQL Postgre DB cluster harus menggunakan -8 encoding. UTF

  • ETLIntegrasi nol dengan Aurora SQL Postgre tidak mendukung hal berikut:

    • Aurora Serverless v2 Contoh DB. Klaster DB sumber Anda harus menggunakan instans DB terprovisi.

    • Jenis data kustom atau jenis data yang dibuat oleh ekstensi.

    • Subtransaksi pada klaster DB sumber.

    • Mengubah nama skema atau basis data dalam klaster DB sumber.

    • Memulihkan dari snapshot klaster DB atau menggunakan kloning Aurora untuk membuat klaster DB sumber. Jika Anda ingin menambahkan data yang ada ke dalam klaster pratinjau, Anda harus menggunakan utilitas pg_dump atau pg_restore.

    • Pembuatan slot replikasi logis pada instans penulis dari klaster DB sumber.

    • Nilai bidang besar yang memerlukan The Oversized-Attribute Storage Technique (). TOAST

    • Operasi partisi ALTER TABLE. Operasi ini dapat menyebabkan tabel Anda disinkronkan kembali dan akhirnya beralih ke status Failed. Jika sebuah tabel gagal, maka Anda harus menghapus dan membuatnya kembali.

Batasan Amazon Redshift

Untuk daftar batasan Amazon Redshift yang terkait dengan nol ETL integrasi, lihat Pertimbangan di Panduan Manajemen Pergeseran Merah Amazon.

Kuota

Akun Anda memiliki kuota berikut yang terkait dengan integrasi nol Aurora dengan Amazon ETL Redshift. Kecuali ditentukan lain, masing-masing kuota ditentukan untuk setiap Wilayah.

Nama Default Deskripsi
Integrasi 100 Jumlah total integrasi dalam suatu Akun AWS.
Integrasi per gudang data target 50 Jumlah integrasi yang mengirim data ke satu gudang data Amazon Redshift target.
Integrasi per klaster sumber untuk Aurora MySQL, 1 untuk Aurora Postgre SQL Jumlah integrasi yang mengirimkan data dari klaster DB sumber tunggal.

Selain itu, Amazon Redshift menempatkan batasan tertentu pada jumlah tabel yang diizinkan di setiap instans DB atau simpul klaster. Untuk informasi selengkapnya, lihat Kuota dan batasan di Amazon Redshift dalam Panduan Manajemen Amazon Redshift.

Wilayah yang Didukung

ETLIntegrasi Aurora zero- dengan Amazon Redshift tersedia dalam subset Wilayah AWS. Untuk daftar Wilayah yang didukung, lihat .