Pilih preferensi cookie Anda

Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.

Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.

Integrasi Aurora Nol-ETL dengan Amazon Redshift - Amazon Aurora

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Integrasi Aurora Nol-ETL dengan Amazon Redshift

Integrasi nol-ETL Aurora dengan Amazon Redshift memungkinkan analisis hampir waktu nyata dan machine learning (ML) menggunakan Amazon Redshift pada data transaksional berukuran petabyte dari Aurora. Ini adalah solusi yang dikelola sepenuhnya untuk membuat data transaksional tersedia di Amazon Redshift setelah ditulis ke Aurora DB cluster. Extract, transform, and load (ETL) adalah proses menggabungkan data dari berbagai sumber menjadi gudang data sentral yang besar.

Integrasi nol-ETL membuat data dalam DB cluster tersedia di Amazon Redshift dalam waktu dekat. Setelah data tersebut berada di Amazon Redshift, Anda dapat memberi daya pada beban kerja analitik, ML, dan AI menggunakan kemampuan bawaan Amazon Redshift, seperti pembelajaran mesin, tampilan terwujud, berbagi data, akses gabungan ke beberapa penyimpanan data dan data lake, dan integrasi dengan Amazon AI, Amazon SageMaker , dan lainnya. QuickSight Layanan AWS

Untuk membuat integrasi nol-ETL, Anda menentukan DB cluster sebagai sumber, dan gudang data Amazon Redshift sebagai target. Integrasi ini mereplikasi data dari basis data sumber ke gudang data target.

Diagram berikut menggambarkan fungsi ini:

Integrasi nol-ETL

Integrasi memantau kondisi pipeline data dan memulihkan dari masalah jika memungkinkan. Anda dapat membuat integrasi dari beberapa klaster Aurora DB ke dalam satu namespace Amazon Redshift, memungkinkan Anda memperoleh wawasan di beberapa aplikasi.

Untuk informasi tentang harga integrasi nol-ETL, lihat Harga Amazon Aurora dan Harga Amazon Redshift.

Manfaat

Integrasi nol-ETL Aurora dengan Amazon Redshift memiliki manfaat berikut:

  • Membantu Anda memperoleh wawasan menyeluruh dari berbagai sumber data.

  • Menghilangkan kebutuhan untuk membangun dan memelihara pipeline data yang kompleks yang melakukan operasi extract, transform, and load (ETL). Integrasi nol-ETL menghilangkan tantangan yang muncul dalam membangun dan mengelola pipeline dengan menyediakan dan mengelolanya untuk Anda.

  • Mengurangi beban dan biaya operasional, serta membantu Anda fokus pada peningkatan aplikasi Anda.

  • Memungkinkan Anda memanfaatkan analitik Amazon Redshift dan kemampuan ML untuk memperoleh wawasan dari data transaksional dan data lainnya, guna merespons secara efektif peristiwa kritis dan sensitif terhadap waktu.

Konsep utama

Saat mulai menggunakan integrasi nol-ETL, pertimbangkan konsep berikut ini:

Integrasi

Pipa data yang dikelola sepenuhnya yang secara otomatis mereplikasi data dan skema transaksional dari DB cluster ke gudang data Amazon Redshift.

sumber DB cluster

Aurora DB cluster tempat data direplikasi. Anda dapat menentukan cluster DB yang menggunakan instans DB yang disediakan atau Aurora Serverless v2 Instans DB sebagai sumbernya.

Gudang data target

Gudang data Amazon Redshift tempat tujuan data direplikasi. Ada dua jenis gudang data: gudang data klaster terprovisi dan gudang data nirserver. Gudang data klaster terprovisi adalah kumpulan sumber daya komputasi yang disebut simpul, yang diatur ke dalam grup yang disebut klaster. Gudang data nirserver terdiri dari grup kerja yang menyimpan sumber daya komputasi, serta ruang nama yang menampung objek basis data dan pengguna. Kedua gudang data ini menjalankan mesin Amazon Redshift dan berisi satu atau beberapa basis data.

Beberapa sumber DB cluster dapat menulis ke target yang sama.

Untuk informasi selengkapnya, lihat Arsitektur sistem gudang data dalam Panduan Developer Amazon Redshift.

Batasan

Batasan berikut berlaku pada integrasi nol-ETL Aurora dengan Amazon Redshift.

Batasan umum

  • Cluster DB sumber harus berada di Wilayah yang sama dengan gudang data Amazon Redshift target.

  • Anda tidak dapat mengganti nama cluster DB atau instance-nya jika memiliki integrasi yang ada.

  • Anda tidak dapat membuat beberapa integrasi antara database sumber dan target yang sama.

  • Anda tidak dapat menghapus cluster DB yang memiliki integrasi yang ada. Anda harus menghapus semua integrasi yang terkait terlebih dahulu.

  • Jika Anda menghentikan cluster DB sumber, beberapa transaksi terakhir mungkin tidak direplikasi ke gudang data target sampai Anda melanjutkan cluster .

  • Jika kluster Anda adalah sumber penerapan biru/hijau, lingkungan biru dan hijau tidak dapat memiliki integrasi nol-ETL selama peralihan. Anda harus menghapus integrasi tersebut terlebih dahulu dan beralih, lalu membuat ulang integrasi.

  • Cluster DB harus berisi setidaknya satu instans DB untuk menjadi sumber integrasi.

  • Anda tidak dapat membuat integrasi untuk cluster DB sumber yang merupakan klon lintas akun, seperti yang dibagikan menggunakan AWS Resource Access Manager ()AWS RAM.

  • Jika klaster sumber Anda adalah klaster DB primer dalam basis data global Aurora dan melakukan failover ke salah satu klaster sekundernya, integrasi menjadi tidak aktif. Anda harus menghapus dan membuat ulang integrasi.

  • Anda tidak dapat membuat integrasi untuk database sumber yang memiliki integrasi lain yang sedang dibuat secara aktif.

  • Saat Anda pertama kali membuat integrasi, atau ketika tabel sedang disinkronkan ulang, seeding data dari sumber ke target dapat memakan waktu 20-25 menit atau lebih tergantung ukuran basis data sumber. Penundaan ini dapat menyebabkan peningkatan lag replika.

  • Beberapa jenis data tidak didukung. Untuk informasi selengkapnya, lihat Perbedaan tipe data antara database Aurora dan Amazon Redshift.

  • Tabel sistem, tabel sementara, dan tampilan tidak direplikasi ke Amazon Redshift.

  • ALTER TABLEoperasi partisi menyebabkan tabel Anda melakukan sinkronisasi ulang untuk memuat ulang data dari Aurora ke Amazon Redshift. Tabel tidak akan tersedia untuk kueri saat disinkronkan ulang. Untuk informasi selengkapnya, lihat Satu atau beberapa tabel Amazon Redshift saya memerlukan sinkronisasi ulang.

Batasan Aurora MySQL

  • Cluster DB sumber Anda harus menjalankan versi Aurora MySQL yang didukung. Untuk daftar versi yang didukung, lihat Daerah yang Didukung dan engine Aurora DB untuk ETL integrasi nol dengan Amazon Redshift.

  • Integrasi nol-ETL mengandalkan pencatatan log biner MySQL (binlog) untuk mengambil perubahan data yang sedang berlangsung. Jangan gunakan pemfilteran data berbasis binlog, karena dapat menyebabkan inkonsistensi data antara basis data sumber dan target.

  • Integrasi nol-ETL didukung hanya untuk basis data yang dikonfigurasi untuk menggunakan mesin penyimpanan InnoDB.

  • Referensi kunci asing dengan pembaruan tabel yang telah ditentukan sebelumnya tidak didukung. Secara khusus, ON DELETE dan ON UPDATE aturan tidak didukung denganCASCADE,SET NULL, dan SET DEFAULT tindakan. Mencoba membuat atau memperbarui tabel dengan referensi tersebut ke tabel lain akan menempatkan tabel ke dalam keadaan gagal.

  • Transaksi XA yang dilakukan pada cluster DB sumber menyebabkan integrasi memasuki status. Syncing

Keterbatasan Aurora PostgreSQL

  • Cluster DB sumber Anda harus menjalankan versi Aurora PostgreSQL yang didukung. Untuk daftar versi yang didukung, lihat Daerah yang Didukung dan engine Aurora DB untuk ETL integrasi nol dengan Amazon Redshift.

  • Jika Anda memilih cluster DB sumber PostgreSQL Aurora, Anda harus menentukan setidaknya satu pola filter data. Minimal, pola harus menyertakan satu database (database-name.*.*) untuk replikasi ke Amazon Redshift. Untuk informasi selengkapnya, lihat Pemfilteran data untuk integrasi nol Aurora dengan Amazon ETL Redshift.

  • Semua basis data yang dibuat dalam klaster DB Aurora PostgreSQL sumber harus menggunakan pengenkodean UTF-8.

  • Jika Anda melakukan transaksi partisi deklaratif pada kluster DB sumber, semua tabel yang terpengaruh memasukkan status gagal dan tidak lagi dapat diakses di Amazon Redshift.

  • Transaksi dua fase tidak didukung.

  • Jika Anda menghapus semua instance DB dari cluster DB yang merupakan sumber integrasi dan kemudian menambahkan kembali instance DB, replikasi akan terputus antara sumber dan kluster target.

  • Cluster DB sumber tidak dapat menggunakan Aurora Limitless Database.

Batasan Amazon Redshift

Untuk daftar batasan Amazon Redshift yang terkait dengan integrasi Nol-ETL, lihat Pertimbangan saat menggunakan integrasi Nol-ETL dengan Amazon Redshift di Panduan Manajemen Pergeseran Merah Amazon.

Kuota

Akun Anda memiliki kuota berikut yang terkait dengan integrasi nol-ETL Aurora dengan Amazon Redshift. Kecuali ditentukan lain, masing-masing kuota ditentukan untuk setiap Wilayah.

Nama Default Deskripsi
Integrasi 100 Jumlah total integrasi dalam sebuah Akun AWS.
Integrasi per gudang data target 50 Jumlah integrasi yang mengirim data ke satu gudang data Amazon Redshift target.
Integrasi per klaster sumber

5 untuk Aurora MySQL

1 untuk Aurora PostgreSQL
Jumlah integrasi yang mengirimkan data dari klaster DB sumber tunggal.

Selain itu, Amazon Redshift menempatkan batasan tertentu pada jumlah tabel yang diizinkan di setiap instans DB atau simpul klaster. Untuk informasi selengkapnya, lihat Kuota dan batasan di Amazon Redshift dalam Panduan Manajemen Amazon Redshift.

Wilayah yang Didukung

Integrasi Aurora Zero-ETL dengan Amazon Redshift tersedia dalam subset. Wilayah AWS Untuk mengetahui daftar Wilayah yang didukung, lihat Daerah yang Didukung dan engine Aurora DB untuk ETL integrasi nol dengan Amazon Redshift.

PrivasiSyarat situsPreferensi cookie
© 2025, Amazon Web Services, Inc. atau afiliasinya. Semua hak dilindungi undang-undang.