Kapasitas komputasi untuk Amazon Redshift Serverless - Amazon Redshift
Pertimbangan dan batasan untuk kapasitas titik akhir tanpa serverPenskalaan dan pengoptimalan berbasis AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kapasitas komputasi untuk Amazon Redshift Serverless

Dengan Amazon Redshift Serverless, Anda dapat secara otomatis menskalakan kapasitas komputasi ke atas dan ke bawah agar sesuai dengan kebutuhan beban kerja Anda. Kapasitas komputasi mengacu pada daya pemrosesan dan memori yang dialokasikan ke beban kerja Amazon Redshift Tanpa Server Anda. Kasus penggunaan umum termasuk menangani periode lalu lintas puncak, menjalankan analisis kompleks, atau memproses volume data yang besar secara efisien. Persyaratan berikut memberikan rincian tentang mengkonfigurasi dan mengelola kapasitas komputasi.

RPUs

Amazon Redshift Serverless mengukur kapasitas gudang data di Redshift Processing Units (). RPUs RPUs adalah sumber daya yang digunakan untuk menangani beban kerja.

Kapasitas dasar

Setelan ini menentukan kapasitas gudang data dasar yang digunakan Amazon Redshift untuk menyajikan kueri. Kapasitas dasar ditentukan dalam RPUs. Anda dapat mengatur kapasitas dasar di Redshift Processing Units ()RPUs. Satu RPU menyediakan memori 16 GB. Menetapkan kapasitas dasar yang lebih tinggi meningkatkan kinerja kueri, terutama untuk pekerjaan pemrosesan data yang menghabiskan banyak sumber daya. Kapasitas dasar default untuk Amazon Redshift Serverless adalah 128. RPUs Anda dapat menyesuaikan pengaturan Kapasitas dasar dari 8 RPUs hingga 512 RPUs dalam unit 8 (8,16,24... 512), menggunakan AWS konsol, operasi UpdateWorkgroup API, atau operasi di. update-workgroup AWS CLI

Dengan kapasitas minimum 8 RPU, Anda sekarang memiliki lebih banyak fleksibilitas untuk menjalankan beban kerja yang lebih sederhana hingga lebih kompleks berdasarkan persyaratan kinerja. Kapasitas RPU dasar RPU 8, 16, dan 24 ditargetkan untuk beban kerja yang membutuhkan kurang dari 128TB data. Jika kebutuhan data Anda lebih besar dari 128 TB, Anda harus menggunakan minimal 32 RPU. Untuk beban kerja yang memiliki tabel dengan kolom angka besar dan konkurensi yang lebih tinggi, sebaiknya gunakan 32 RPU atau lebih.

Basis maksimum RPUs yang tersedia, 512, menambahkan tingkat sumber daya komputasi tertinggi ke beban kerja Anda. Ini memberikan lebih banyak fleksibilitas untuk mendukung beban kerja dengan kompleksitas besar dan mempercepat pemuatan dan kueri data.

catatan

Kapasitas RPU basis maksimum yang diperluas sebesar 1024 tersedia sebagai berikut: Wilayah AWS

  • AS Timur (N. Virginia)

  • AS Timur (Ohio)

  • AS Barat (Oregon)

  • Europe (Ireland)

  • Eropa (Frankfurt)

Anda dapat menambah atau mengurangi RPUs unit 32 saat mengatur kapasitas dasar antara 512-1024.

Jika Anda mengelola beban kerja yang lebih besar dan lebih kompleks, pertimbangkan untuk meningkatkan ukuran gudang data Redshift Tanpa Server Anda. Gudang yang lebih besar memiliki akses ke sumber daya komputasi yang lebih banyak, memungkinkan mereka memproses kueri dengan lebih efisien. Perhatikan bahwa meningkatkan kapasitas RPU dasar maksimum grup kerja Anda memerlukan alamat IP gratis tambahan. Untuk informasi lebih lanjut tentang peningkatan persyaratan alamat IP gratis, bukaPertimbangan saat menggunakan Amazon Redshift Serverless.

Berikut adalah beberapa contoh di mana memiliki kapasitas dasar yang lebih tinggi bermanfaat:

  • Anda memiliki kueri kompleks yang membutuhkan waktu lama untuk dijalankan

  • Tabel Anda memiliki sejumlah besar kolom.

  • Kueri Anda memiliki jumlah yang tinggi. JOINs

  • Kueri Anda mengumpulkan atau memindai sejumlah besar data dari sumber eksternal, seperti data lake.

Untuk informasi lebih lanjut tentang kuota dan batas Amazon Redshift Tanpa Server, buka. Kuota untuk objek Amazon Redshift Tanpa Server

Pertimbangan dan batasan untuk kapasitas Amazon Redshift Tanpa Server

Berikut ini adalah pertimbangan dan batasan untuk kapasitas Amazon Redshift Serverless.

  • Konfigurasi 8 atau 16 RPU mendukung kapasitas penyimpanan terkelola Redshift hingga 128 TB. Jika Anda menggunakan lebih dari 128 TB penyimpanan terkelola, Anda tidak dapat menurunkan versi ke kurang dari 32 RPU.

  • Mengedit kapasitas dasar grup kerja Anda mungkin membatalkan beberapa kueri yang berjalan di workgroup Anda.

  • Amazon Redshift Serverless tidak akan meningkatkan skala Anda RPUs kecuali ada kueri dalam antrian. Amazon Redshift Serverless tidak akan meningkatkan skala Anda sebagai respons terhadap RPUs peningkatan beban dari satu kueri. Akibatnya, satu kueri intensif sumber daya dapat menyebabkan grup kerja Anda kehabisan memori jika tidak ada kapasitas saat ini untuk menanganinya. Pastikan kapasitas dasar Anda cukup untuk menangani kueri tunggal yang Anda jalankan di gudang data Anda.

Penskalaan dan pengoptimalan berbasis AI

Fitur penskalaan dan pengoptimalan berbasis AI tersedia di semua AWS Wilayah di mana Amazon Redshift Serverless tersedia.

Amazon Redshift Serverless menawarkan fitur penskalaan dan pengoptimalan berbasis AI canggih untuk memenuhi beragam persyaratan beban kerja. Gudang data mungkin memiliki masalah penyediaan berikut:

  • Gudang data dapat disediakan secara berlebihan untuk meningkatkan kinerja kueri intensif sumber daya

  • Gudang data mungkin kurang disediakan untuk menghemat biaya.

Mencapai keseimbangan yang tepat antara kinerja dan biaya untuk beban kerja gudang data sangat menantang, terutama dengan kueri ad-hoc dan volume data yang terus bertambah. Saat menjalankan beban kerja campuran, yang terdiri dari kueri intensif sumber daya rendah dan tinggi, ada kebutuhan untuk penskalaan cerdas. Fitur penskalaan dan pengoptimalan berbasis AI secara otomatis menskalakan komputasi Tanpa Server atau RPUs sebagai respons terhadap pertumbuhan data. Fitur ini juga membantu mempertahankan kinerja kueri dalam sasaran harga-kinerja yang ditargetkan. Penskalaan dan pengoptimalan berbasis AI secara dinamis mengalokasikan sumber daya komputasi saat volume data meningkat, memastikan kueri terus memenuhi target kinerja. Penskalaan dan pengoptimalan berbasis AI memungkinkan layanan beradaptasi dengan mulus terhadap perubahan persyaratan beban kerja, tanpa perlu intervensi manual atau perencanaan kapasitas yang kompleks.

Amazon Redshift Serverless menyediakan solusi penskalaan yang lebih komprehensif dan responsif berdasarkan faktor-faktor seperti kompleksitas kueri dan volume data. Fitur ini memungkinkan untuk mengoptimalkan kinerja harga beban kerja sambil mempertahankan fleksibilitas untuk menangani berbagai beban kerja dan mengembangkan kumpulan data secara efisien. Amazon Redshift Serverless dapat secara otomatis melakukan pengoptimalan berbasis AI ke titik akhir Amazon Redshift Tanpa Server untuk memenuhi target performa harga yang ditentukan untuk grup kerja Tanpa Server Anda. Optimalisasi harga-kinerja otomatis ini sangat membantu jika Anda tidak tahu kapasitas dasar apa yang harus ditetapkan untuk beban kerja Anda, atau jika beberapa bagian dari beban kerja Anda mungkin mendapat manfaat dari lebih banyak sumber daya yang dialokasikan.

Contoh

Jika organisasi Anda biasanya menjalankan beban kerja yang hanya memerlukan 32 RPU tetapi tiba-tiba memperkenalkan kueri yang lebih kompleks, Anda mungkin tidak mengetahui kapasitas dasar yang sesuai. Menetapkan kapasitas dasar yang lebih tinggi menghasilkan kinerja yang lebih baik tetapi juga menimbulkan biaya yang lebih tinggi, sehingga biayanya mungkin tidak sesuai dengan harapan Anda. Menggunakan penskalaan berbasis AI dan pengoptimalan sumber daya, Amazon Redshift Serverless secara otomatis menyesuaikan RPUs untuk memenuhi target kinerja harga Anda sambil menjaga biaya dioptimalkan untuk organisasi Anda. Optimalisasi otomatis ini berguna terlepas dari ukuran beban kerja. Pengoptimalan otomatis dapat membantu Anda memenuhi target kinerja harga organisasi Anda jika Anda memiliki sejumlah kueri kompleks.

catatan

Target harga-kinerja adalah pengaturan khusus kelompok kerja. Kelompok kerja yang berbeda dapat memiliki target harga-kinerja yang berbeda.

Agar biaya tetap dapat diprediksi, tetapkan batas kapasitas maksimum yang diizinkan untuk dialokasikan oleh Amazon Redshift Serverless ke beban kerja Anda.

Untuk mengonfigurasi target harga-kinerja, gunakan konsol. AWS Anda harus mengaktifkan target harga-kinerja secara eksplisit saat membuat grup kerja Tanpa Server. Anda juga dapat memodifikasi target harga-kinerja setelah Anda membuat grup kerja Tanpa Server. Ketika Anda mengaktifkan target harga-kinerja, itu diatur ke Balanced secara default.

Untuk mengedit target harga-kinerja untuk grup kerja Anda

  1. Di konsol Amazon Redshift Tanpa Server, pilih konfigurasi Workgroup.

  2. Pilih workgroup yang ingin Anda edit target harga-kinerja. Pilih tab Performance, lalu pilih Edit.

  3. Pilih target Price-performance, dan sesuaikan slider ke pengaturan yang Anda inginkan.

  4. Pilih Simpan perubahan.

  5. Untuk memperbarui jumlah maksimum Amazon Redshift Serverless RPUs yang dapat dialokasikan ke beban kerja Anda, pilih tab Batas pada bagian Konfigurasi Workgroup.

Anda dapat menggunakan slider target Price-performance untuk mengatur keseimbangan yang Anda inginkan antara biaya dan kinerja. Dengan menggerakkan slider, Anda dapat memilih salah satu opsi berikut:

  • Mengoptimalkan biaya — Pengaturan ini memprioritaskan penghematan biaya. Amazon Redshift Serverless mencoba untuk secara otomatis meningkatkan kapasitas komputasi saat melakukannya tidak menimbulkan biaya tambahan. Amazon Redshift Serverless juga mencoba mengurangi sumber daya komputasi dengan biaya lebih rendah, mungkin meningkatkan runtime kueri.

  • Seimbang — Pengaturan ini menciptakan keseimbangan antara kinerja dan biaya. Amazon Redshift Tanpa Server menskalakan kinerja, dan dapat menghasilkan kenaikan atau penurunan biaya yang moderat. Ini adalah pengaturan yang disarankan untuk sebagian besar gudang data Amazon Redshift Tanpa Server.

  • Mengoptimalkan kinerja - Pengaturan ini memprioritaskan kinerja. Amazon Redshift menskalakan secara agresif untuk kinerja tinggi, berpotensi menimbulkan biaya lebih tinggi.

  • Posisi menengah: Anda juga dapat mengatur slider ke salah satu dari dua posisi perantara antara Seimbang dan Mengoptimalkan biaya atau Mengoptimalkan untuk kinerja. Gunakan pengaturan ini jika optimasi penuh untuk biaya atau kinerja terlalu ekstrim.

Pertimbangan saat memilih target harga-kinerja Anda

Anda dapat menggunakan penggeser harga-kinerja untuk memilih target harga-kinerja yang Anda inginkan untuk beban kerja Anda. Algoritma penskalaan dan pengoptimalan berbasis AI belajar dari waktu ke waktu dari riwayat beban kerja Anda, dan meningkatkan prediksi dan akurasi keputusan.

Contoh

Untuk contoh ini, asumsikan kueri yang membutuhkan waktu tujuh menit dan biaya $7. Gambar berikut menunjukkan runtime kueri dan biaya tanpa penskalaan.

Grafik misalnya kueri untuk penskalaan otomatis Amazon Redshift Tanpa Server.

Kueri yang diberikan mungkin skala dalam beberapa cara yang berbeda, seperti yang ditunjukkan di bawah ini. Berdasarkan target harga-kinerja yang Anda pilih, penskalaan berbasis AI memprediksi bagaimana kueri memperdagangkan kinerja dan biaya, dan menskalakannya sesuai dengan itu. Memilih opsi slider yang berbeda menghasilkan hasil sebagai berikut:

Grafik misalnya kueri untuk penskalaan otomatis Amazon Redshift Tanpa Server.

  • Mengoptimalkan Biaya — Dengan opsi Optimize for Cost, gudang data Anda menskalakan pilihan yang menurunkan biaya Anda. Dalam contoh sebelumnya, pendekatan penskalaan super linier menunjukkan perilaku ini. Penskalaan hanya akan terjadi jika dapat dilakukan dengan cara yang hemat biaya sesuai dengan prediksi model penskalaan. Jika model penskalaan memprediksi bahwa penskalaan yang dioptimalkan biaya tidak dimungkinkan untuk beban kerja yang diberikan, maka gudang data tidak akan diskalakan.

  • Seimbang — Dengan opsi Balanced, sistem menskalakan sambil menyeimbangkan pertimbangan biaya dan kinerja, dengan potensi peningkatan biaya yang terbatas. Opsi Balanced melakukan penskalaan beban kerja superlinear, linier, dan mungkin sublinear.

  • Optimize for Performance — Dengan opsi Optimizes for Performance, selain metode sebelumnya untuk meningkatkan kinerja, sistem juga menskalakan meskipun biayanya lebih tinggi, dan mungkin tidak sebanding dengan peningkatan runtime. Dengan Optimizes for Performance, sistem melakukan penskalaan superlinear, penskalaan linier, dan penskalaan sublinear jika memungkinkan. Semakin dekat posisi slider ke posisi Optimizes for Performance, semakin Amazon Redshift Serverless mengizinkan penskalaan sublinear.

Perhatikan hal berikut saat mengatur slider Price-Performance:

  • Anda dapat mengubah pengaturan harga-kinerja kapan saja, tetapi penskalaan beban kerja tidak akan segera berubah. Penskalaan berubah seiring waktu saat sistem belajar tentang beban kerja saat ini. Kami menyarankan untuk memantau Grup Kerja Tanpa Server selama 1-3 hari untuk memverifikasi dampak pengaturan baru.

  • Opsi slider harga-kinerja Kapasitas Max dan Max RPU-jam bekerja sama. Kapasitas maksimum dan jam RPU Maks adalah kontrol untuk membatasi maksimum RPUs yang memungkinkan Amazon Redshift Serverless memungkinkan gudang data untuk diskalakan, dan jam RPU maksimum yang Amazon Redshift Serverless memungkinkan gudang data untuk dikonsumsi. Amazon Redshift Serverless selalu menghormati dan menerapkan pengaturan ini, terlepas dari pengaturan target harga-kinerja.

Memantau penskalaan otomatis sumber daya

Anda dapat memantau penskalaan RPU berbasis AI dengan cara berikut:

  • Tinjau grafik kapasitas RPU yang digunakan di konsol Amazon Redshift.

  • Pantau ComputeCapacity metrik di bawah AWS/Redshift-Serverless dan Workgroup di dalam CloudWatch.

  • Kueri tampilan SYS_QUERY_HISTORY. Berikan ID kueri atau teks kueri tertentu untuk mengidentifikasi periode waktu. Gunakan periode waktu ini untuk menanyakan tampilan sistem SYS_SERVERLESS_USAGE untuk menemukan nilainya. compute_capacity compute_capacityBidang menunjukkan RPUs skala selama runtime kueri.

Gunakan contoh berikut untuk menanyakan SYS_QUERY_HISTORY tampilan. Ganti nilai sampel dengan teks kueri Anda.

select query_id,query_text,start_time,end_time, elapsed_time/1000000.0 duration_in_seconds
from sys_query_history
where query_text like '<query_text>'
and query_text not like '%sys_query_history%'
order by start_time desc

Jalankan kueri berikut untuk melihat bagaimana compute_capacity diskalakan selama periode dari start_time keend_time. Ganti start_time dan end_time dalam query berikut dengan output dari query sebelumnya:

select * from sys_serverless_usage
where end_time >= 'start_time'
and end_time <= DATEADD(minute,1,'end_time')
order by end_time asc

Untuk step-by-step petunjuk penggunaan fitur ini, lihat Mengonfigurasi pemantauan, batasan, dan alarm di Amazon Redshift Tanpa Server agar biaya tetap dapat diprediksi.

Pertimbangan saat menggunakan penskalaan dan pengoptimalan berbasis AI

Pertimbangkan hal berikut saat menggunakan penskalaan dan pengoptimalan berbasis AI:

  • Untuk beban kerja yang ada di Amazon Redshift Serverless yang membutuhkan 32 hingga 512 Base RPU, sebaiknya gunakan penskalaan dan pengoptimalan berbasis AI Amazon Redshift Serverless untuk hasil yang optimal. Kami tidak merekomendasikan penggunaan fitur ini untuk kurang dari 32 Base RPU atau lebih dari 512 Base RPU beban kerja.

  • Target harga-kinerja secara otomatis mengoptimalkan beban kerja, meskipun hasilnya dapat bervariasi. Sebaiknya gunakan fitur ini dari waktu ke waktu sehingga sistem dapat mempelajari pola spesifik Anda dengan menjalankan beban kerja yang representatif.

  • Penskalaan dan pengoptimalan berbasis AI menggunakan waktu optimal untuk menerapkan pengoptimalan ke grup kerja Tanpa Server, bergantung pada beban kerja yang berjalan di instans Amazon Redshift Tanpa Server Anda.

Untuk mempelajari lebih lanjut tentang pengoptimalan berbasis AI dan penskalaan sumber daya, tonton video berikut.