Arsitektur sistem gudang data

Bagian ini menjelaskan komponen yang membentuk arsitektur gudang data Amazon Redshift, seperti yang ditunjukkan pada gambar berikut.

Aplikasi klien

Amazon Redshift terintegrasi dengan berbagai alat pemuatan data dan ETL (ekstrak, transformasi, dan muat) serta pelaporan intelijen bisnis (BI), penambangan data, dan alat analitik. Amazon Redshift didasarkan pada PostgreSQL standar terbuka, sehingga sebagian besar aplikasi klien SQL yang ada akan bekerja hanya dengan sedikit perubahan. Untuk informasi tentang perbedaan penting antara Amazon Redshift SQL dan PostgreSQL, lihat. Amazon Redshift dan PostgreSQL

Cluster

Komponen infrastruktur inti dari gudang data Amazon Redshift adalah cluster.

Cluster terdiri dari satu atau lebih node komputasi. Jika cluster disediakan dengan dua atau lebih node komputasi, node pemimpin tambahan mengoordinasikan node komputasi dan menangani komunikasi eksternal. Aplikasi klien Anda berinteraksi langsung hanya dengan node pemimpin. Node komputasi transparan untuk aplikasi eksternal.

Node pemimpin

Node pemimpin mengelola komunikasi dengan program klien dan semua komunikasi dengan node komputasi. Ini mengurai dan mengembangkan rencana eksekusi untuk melakukan operasi database, khususnya, serangkaian langkah yang diperlukan untuk mendapatkan hasil untuk kueri kompleks. Berdasarkan rencana eksekusi, node pemimpin mengkompilasi kode, mendistribusikan kode yang dikompilasi ke node komputasi, dan menetapkan sebagian data ke setiap node komputasi.

Node pemimpin mendistribusikan pernyataan SQL ke node komputasi hanya ketika kueri mereferensikan tabel yang disimpan pada node komputasi. Semua kueri lain berjalan secara eksklusif pada node pemimpin. Amazon Redshift dirancang untuk mengimplementasikan fungsi SQL tertentu hanya pada node pemimpin. Kueri yang menggunakan salah satu fungsi ini akan mengembalikan kesalahan jika mereferensikan tabel yang berada di node komputasi. Untuk informasi selengkapnya, lihat Fungsi SQL didukung pada node pemimpin.

Hitung node

Node pemimpin mengkompilasi kode untuk elemen individu dari rencana eksekusi dan menetapkan kode ke node komputasi individu. Node komputasi menjalankan kode yang dikompilasi dan mengirim hasil perantara kembali ke node pemimpin untuk agregasi akhir.

Setiap node komputasi memiliki CPU dan memori khusus sendiri, yang ditentukan oleh jenis node. Seiring bertambahnya beban kerja, Anda dapat meningkatkan kapasitas komputasi cluster dengan meningkatkan jumlah node, meningkatkan jenis node, atau keduanya.

Amazon Redshift menyediakan beberapa jenis node untuk kebutuhan komputasi Anda. Untuk detail setiap jenis node, lihat cluster Amazon Redshift di Panduan Manajemen Amazon Redshift.

Penyimpanan Terkelola Redshift

Data gudang data disimpan dalam tingkat penyimpanan terpisah Redshift Managed Storage (RMS). RMS menyediakan kemampuan untuk menskalakan penyimpanan Anda menjadi petabyte menggunakan penyimpanan Amazon S3. Dengan RMS, Anda dapat menskalakan dan membayar komputasi dan penyimpanan secara mandiri, sehingga Anda dapat mengukur cluster hanya berdasarkan kebutuhan komputasi Anda. Secara otomatis menggunakan penyimpanan SSD-based lokal berkinerja tinggi sebagai cache tier-1. Ini juga memanfaatkan pengoptimalan, seperti suhu blok data, usia blok data, dan pola beban kerja untuk memberikan kinerja tinggi sambil menskalakan penyimpanan secara otomatis ke Amazon S3 bila diperlukan tanpa memerlukan tindakan apa pun.

Irisan simpul

Node komputasi dipartisi menjadi irisan. Setiap irisan dialokasikan sebagian dari memori node dan ruang disk, di mana ia memproses sebagian dari beban kerja yang ditetapkan ke node. Node pemimpin mengelola distribusi data ke irisan dan membagi beban kerja untuk setiap kueri atau operasi database lainnya ke irisan. Irisan kemudian bekerja secara paralel untuk menyelesaikan operasi.

Jumlah irisan per node ditentukan oleh ukuran node cluster. Untuk informasi selengkapnya tentang jumlah irisan untuk setiap ukuran node, buka Tentang cluster dan node di Panduan Manajemen Amazon Redshift.

Saat Anda membuat tabel, Anda dapat secara opsional menentukan satu kolom sebagai kunci distribusi. Ketika tabel dimuat dengan data, baris didistribusikan ke irisan node sesuai dengan kunci distribusi yang ditentukan untuk tabel. Memilih kunci distribusi yang baik memungkinkan Amazon Redshift menggunakan pemrosesan paralel untuk memuat data dan menjalankan kueri secara efisien. Untuk informasi tentang memilih kunci distribusi, lihatPilih gaya distribusi terbaik.

Jaringan internal

Amazon Redshift memanfaatkan koneksi bandwidth tinggi, jarak dekat, dan protokol komunikasi khusus untuk menyediakan komunikasi jaringan pribadi berkecepatan sangat tinggi antara node pemimpin dan node komputasi. Node komputasi berjalan pada jaringan terpisah dan terisolasi yang aplikasi klien tidak pernah mengakses secara langsung.

Basis Data

Sebuah cluster berisi satu atau lebih database. Data pengguna disimpan di node komputasi. Klien SQL Anda berkomunikasi dengan node pemimpin, yang pada gilirannya mengoordinasikan query yang dijalankan dengan node komputasi.

Amazon Redshift adalah sistem manajemen basis data relasional (RDBMS), sehingga kompatibel dengan aplikasi RDBMS lainnya. Meskipun menyediakan fungsionalitas yang sama dengan RDBMS biasa, termasuk fungsi pemrosesan transaksi online (OLTP) seperti memasukkan dan menghapus data, Amazon Redshift dioptimalkan untuk analisis kinerja tinggi dan pelaporan kumpulan data yang sangat besar.

Amazon Redshift didasarkan pada PostgreSQL. Amazon Redshift dan PostgreSQL memiliki sejumlah perbedaan yang sangat penting yang perlu Anda perhitungkan saat Anda merancang dan mengembangkan aplikasi gudang data Anda. Untuk informasi tentang perbedaan Amazon Redshift SQL dari PostgreSQL, lihat. Amazon Redshift dan PostgreSQL