Penskalaan konkurensi - Amazon Redshift
Kemampuan penskalaan konkurensiBatasan untuk penskalaan konkurensiWilayah untuk penskalaan konkurensiKandidat penskalaan konkurensiMengkonfigurasi antrian penskalaan konkurensiMemantau penskalaan konkurensiTampilan sistem penskalaan konkurensi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penskalaan konkurensi

Dengan fitur Penskalaan Konkurensi, Anda dapat mendukung ribuan pengguna bersamaan dan kueri bersamaan, dengan kinerja kueri yang cepat secara konsisten. Saat Anda mengaktifkan penskalaan konkurensi, Amazon Redshift secara otomatis menambahkan kapasitas klaster tambahan untuk memproses peningkatan kueri baca dan tulis. Pengguna melihat data terbaru, apakah kueri berjalan di cluster utama atau cluster penskalaan konkurensi.

Anda dapat mengelola kueri mana yang dikirim ke cluster penskalaan konkurensi dengan mengonfigurasi antrian WLM. Saat Anda mengaktifkan penskalaan konkurensi, kueri yang memenuhi syarat akan dikirim ke klaster penskalaan persetujuan alih-alih menunggu dalam antrian.

Anda dikenakan biaya untuk klaster penskalaan konkurensi hanya untuk saat mereka aktif menjalankan kueri. Untuk informasi selengkapnya tentang harga, termasuk bagaimana biaya bertambah dan biaya minimum, lihat Harga Penskalaan Konkurensi.

Kemampuan penskalaan konkurensi

Saat Anda mengaktifkan penskalaan konkurensi untuk antrian WLM, ini berfungsi untuk operasi baca, seperti kueri dasbor. Ini juga berfungsi untuk operasi penulisan yang umum digunakan, seperti pernyataan untuk konsumsi dan pemrosesan data.

Kemampuan penskalaan konkurensi untuk operasi penulisan

Penskalaan konkurensi mendukung operasi penulisan yang sering digunakan, seperti pernyataan ekstrak, transformasi, dan beban (ETL). Penskalaan konkurensi untuk operasi penulisan sangat berguna ketika Anda ingin mempertahankan waktu respons yang konsisten ketika klaster Anda menerima sejumlah besar permintaan. Ini meningkatkan throughput untuk operasi penulisan bersaing untuk sumber daya di cluster utama.

Penskalaan konkurensi mendukung pernyataan COPY, INSERT, DELETE, UPDATE, dan CREATE TABLE AS (CTAS). Selain itu, penskalaan konkurensi mendukung penyegaran tampilan terwujud karena MVs tidak menggunakan agregasi. Pernyataan bahasa manipulasi data (DML/bahasa manipulasi data) lainnya dan pernyataan bahasa definisi data (DDL) tidak didukung. Ketika pernyataan tulis yang tidak didukung, seperti CREATE tanpa TABLE AS, disertakan dalam transaksi eksplisit sebelum pernyataan tulis yang didukung, tidak ada pernyataan tulis yang akan berjalan pada cluster penskalaan konkurensi.

Ketika Anda memperoleh kredit untuk penskalaan konkurensi, akrual kredit ini berlaku untuk operasi baca dan tulis.

Batasan untuk penskalaan konkurensi

Berikut ini adalah batasan untuk menggunakan penskalaan konkurensi Amazon Redshift:

  • Itu tidak mendukung kueri pada tabel yang menggunakan kunci pengurutan interleaved.

  • Itu tidak mendukung kueri pada tabel sementara.

  • Itu tidak mendukung kueri yang mengakses sumber daya eksternal yang dilindungi oleh konfigurasi jaringan terbatas atau virtual private cloud (VPC).

  • Itu tidak mendukung kueri yang berisi fungsi yang ditentukan pengguna Python () UDFs dan Lambda. UDFs

  • Itu tidak mendukung kueri yang mengakses tabel sistem, tabel katalog PostgreSQL, atau tabel tanpa cadangan.

  • Itu tidak mendukung kueri COPY atau UNLOAD yang mengakses sumber daya eksternal ketika izin kebijakan IAM yang membatasi diberlakukan. Ini termasuk izin yang diterapkan baik ke sumber daya, seperti bucket Amazon S3 atau tabel DynamoDB, atau ke sumber. Sumber IAM dapat mencakup yang berikut:

    • aws:sourceVpc— Sumber VPC.

    • aws:sourceVpce— Titik akhir VPC sumber.

    • aws:sourceIp— Alamat IP sumber.

    Dalam beberapa kasus, Anda mungkin perlu menghapus izin yang membatasi sumber daya atau sumber, sehingga kueri COPY dan UNLOAD yang mengakses sumber daya dikirim ke cluster penskalaan konkurensi.

    Untuk informasi selengkapnya tentang kebijakan sumber daya, lihat Jenis kebijakan di panduan AWS Identity and Access Management pengguna dan Mengontrol akses dari titik akhir VPC dengan kebijakan bucket.

  • Penskalaan konkurensi Amazon Redshift untuk operasi penulisan tidak didukung untuk operasi DDL, seperti CREATE TABLE atau ALTER TABLE.

  • Itu tidak mendukung ANALISIS untuk perintah COPY.

  • Itu tidak mendukung operasi tulis pada tabel target di mana DISTSTYLE disetel ke ALL.

  • Itu tidak mendukung COPY dari format file berikut:

    • Parquet

    • ORC

  • Itu tidak mendukung operasi tulis pada tabel dengan kolom identitas.

  • Amazon Redshift mendukung penskalaan konkurensi untuk operasi penulisan hanya pada node Amazon Redshift. RA3 Penskalaan konkurensi untuk operasi penulisan tidak didukung pada jenis node lainnya.

Wilayah AWS untuk penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat menggunakan penskalaan konkurensi untuk mengelola tuntutan beban kerja bersamaan di seluruh klaster Redshift. Topik ini merinci di wilayah mana Anda dapat menggunakan penskalaan konkurensi dengan Amazon Redshift.

Penskalaan konkurensi tersedia di Wilayah ini AWS :

  • Wilayah AS Timur (Virginia N.) (us-east-1)

  • Wilayah AS Timur (Ohio) (us-east-2)

  • Wilayah AS Barat (California Utara) (us-west-1)

  • Wilayah AS Barat (Oregon) (us-west-2)

  • Wilayah Asia Pasifik (Mumbai) (ap-south-1)

  • Wilayah Asia Pasifik (Seoul) (ap-northeast-2)

  • Wilayah Asia Pasifik (Singapura) (ap-southeast-1)

  • Wilayah Asia Pasifik (Sydney) (ap-southeast-2)

  • Wilayah Asia Pasifik (Malaysia) (ap-tenggara 5)

  • Wilayah Asia Pasifik (Tokyo) (ap-northeast-1)

  • Wilayah Kanada (Tengah) (ca-central-1)

  • Wilayah Tiongkok (Beijing) (cn-utara-1)

  • Wilayah Tiongkok (Ningxia) (cn-barat laut-1)

  • Wilayah Eropa (Frankfurt) (eu-central-1)

  • Wilayah Eropa (Irlandia) (eu-west-1)

  • Wilayah Eropa (London) (eu-west-2)

  • Wilayah Eropa (Paris) (eu-west-3)

  • Wilayah Eropa (Stockholm) (eu-north-1)

  • Wilayah Eropa (Zurich) (eu-central-2)

  • Wilayah Eropa (Spanyol) (eu-south-2)

  • Wilayah Amerika Selatan (São Paulo) (sa-east-1)

  • AWS GovCloud (AS-Timur)

Kandidat penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat meningkatkan skala pemrosesan kueri untuk mempercepat eksekusi kueri bersamaan. Topik berikut menjelaskan kriteria yang digunakan Amazon Redshift untuk menentukan kueri apa yang akan dirutekan ke penskalaan konkurensi.

Kueri dialihkan ke klaster penskalaan konkurensi hanya jika klaster utama memenuhi persyaratan berikut:

  • EC2-Platform VPC.

  • Jenis node harus dc2.8xlarge, dc2.large, ra3.large, ra3.xlplus, ra3.4xlarge, atau ra3.16xlarge. Penskalaan konkurensi untuk operasi penulisan hanya didukung pada node Amazon RA3 Redshift.

  • Maksimum 32 node komputasi untuk cluster dengan tipe node ra3.xlplus, ra3.4xlarge, atau ra3.16xlarge. Selain itu, jumlah node dari cluster utama tidak boleh lebih besar dari 32 node ketika cluster awalnya dibuat. Misalnya, bahkan jika sebuah cluster saat ini memiliki 20 node, tetapi awalnya dibuat dengan 40, itu tidak memenuhi persyaratan untuk penskalaan konkurensi. Sebaliknya, jika sebuah DC2 cluster saat ini memiliki 40 node, tetapi awalnya dibuat dengan 20, itu memenuhi persyaratan untuk penskalaan konkurensi.

  • Bukan cluster simpul tunggal.

Mengkonfigurasi antrian penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat mengelola konkurensi dan sumber daya sistem dengan mengonfigurasi penskalaan konkurensi. Antrian penskalaan konkurensi memungkinkan Anda menetapkan batasan jumlah kueri atau sesi pengguna yang dapat dieksekusi secara bersamaan. Bagian berikut memberikan petunjuk tentang cara mengaktifkan antrian penskalaan konkurensi di Amazon Redshift, memungkinkan Anda menangani kueri dan sesi pengguna secara efektif.

Anda merutekan kueri ke kluster penskalaan konkurensi dengan mengaktifkan penskalaan konkurensi dalam antrian manajer beban kerja (WLM). Untuk mengaktifkan penskalaan konkurensi untuk antrian, setel nilai mode Penskalaan Konkurensi ke auto.

Ketika jumlah kueri yang dirutekan ke antrian dengan penskalaan konkurensi diaktifkan melebihi kapasitas konkurensi antrian, baik kapasitas dikonfigurasi secara manual atau ditentukan secara otomatis, kueri yang memenuhi syarat akan dikirim ke klaster penskalaan konkurensi. Ketika slot antrian tersedia di cluster utama, kueri dirutekan ke dan dijalankan di cluster utama. Seperti halnya antrian WLM, Anda merutekan kueri ke antrian penskalaan konkurensi berdasarkan grup pengguna, atau dengan memberi label kueri dengan label grup kueri, atau sesuai dengan kondisi pencocokan yang ditentukan dalam Menetapkan kueri ke antrian. Anda juga dapat merutekan kueri dengan mendefinisikanAturan pemantauan kueri WLM. Misalnya, Anda dapat merutekan semua kueri yang membutuhkan waktu lebih dari 5 detik ke antrian penskalaan konkurensi. Perlu diingat bahwa perilaku antrian dapat bervariasi, tergantung pada apakah Anda menggunakan WLM otomatis atau WLM manual. Untuk informasi selengkapnya, lihat Menerapkan WLM otomatis atau Menerapkan WLM manual.

Jumlah default cluster penskalaan konkurensi adalah satu. Jumlah cluster penskalaan konkurensi yang dapat digunakan dikendalikan oleh. max_concurrency_scaling_clusters

Memantau penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat memantau dan mengelola penskalaan konkurensi untuk mengoptimalkan kinerja dan efisiensi biaya untuk beban kerja pergudangan data Anda. Penskalaan konkurensi memungkinkan Amazon Redshift untuk secara otomatis menambahkan kapasitas klaster tambahan saat tuntutan beban kerja meningkat, dan menghapus kapasitas tersebut saat permintaan berkurang. Bagian berikut memberikan panduan tentang pemantauan penskalaan konkurensi untuk klaster Amazon Redshift Anda.

Anda dapat melihat apakah kueri berjalan di cluster utama atau klaster penskalaan konkurensi dengan menavigasi ke Cluster di konsol Amazon Redshift dan memilih klaster. Kemudian pilih tab Pemantauan kueri dan konkurensi Beban Kerja untuk melihat informasi tentang menjalankan kueri dan kueri antrian.

Untuk menemukan waktu eksekusi, kueri tabel STL_QUERY dan filter pada kolom. concurrency_scaling_status Kueri berikut membandingkan waktu antrian dan waktu eksekusi untuk kueri yang dijalankan pada cluster penskalaan konkurensi dan kueri yang dijalankan di cluster utama.

SELECT w.service_class AS queue
, CASE WHEN q.concurrency_scaling_status = 1 THEN 'concurrency scaling cluster' ELSE 'main cluster' END as concurrency_scaling_status
, COUNT( * ) AS queries
, SUM( q.aborted ) AS aborted
, SUM( ROUND( total_queue_time::NUMERIC / 1000000,2) ) AS queue_secs
, SUM( ROUND( total_exec_time::NUMERIC / 1000000,2) ) AS exec_secs
FROM stl_query q
JOIN stl_wlm_query w
USING (userid,query)
WHERE q.userid > 1
AND q.starttime > '2019-01-04 16:38:00'
AND q.endtime < '2019-01-04 17:40:00'
GROUP BY 1,2
ORDER BY 1,2;

Sesuaikan starttime dan endtime nilai sesuai dengan kebutuhan Anda.

Tampilan sistem penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat menggunakan tampilan sistem penskalaan konkurensi untuk memantau dan mengelola aktivitas penskalaan konkurensi di klaster Anda. Bagian berikut menjelaskan kueri tampilan sistem ini dan menafsirkan hasilnya untuk secara efektif memanfaatkan penskalaan konkurensi di lingkungan Amazon Redshift Anda.

Satu set tampilan sistem dengan awalan SVCS memberikan rincian dari tabel log sistem tentang kueri pada cluster penskalaan utama dan konkurensi.

Tampilan berikut memiliki informasi yang serupa dengan tampilan STL atau tampilan SVL yang sesuai:

Tampilan berikut khusus untuk penskalaan konkurensi.

Untuk informasi selengkapnya tentang penskalaan konkurensi, lihat topik berikut di Panduan Manajemen Pergeseran Merah Amazon.