Penskalaan konkurensi - Amazon Redshift
Kemampuan penskalaan konkurensiBatasan untuk penskalaan konkurensiWilayah untuk penskalaan konkurensiKandidat penskalaan konkurensiMengkonfigurasi antrian penskalaan konkurensiMemantau penskalaan konkurensiTampilan sistem penskalaan konkurensi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penskalaan konkurensi

Dengan fitur Penskalaan Konkurensi, Anda dapat mendukung ribuan pengguna bersamaan dan kueri bersamaan, dengan kinerja kueri yang cepat secara konsisten. Saat Anda mengaktifkan penskalaan konkurensi, Amazon Redshift secara otomatis menambahkan kapasitas klaster tambahan untuk memproses peningkatan kueri baca dan tulis. Pengguna melihat data terbaru, apakah kueri berjalan di cluster utama atau cluster penskalaan konkurensi.

Anda dapat mengelola kueri mana yang dikirim ke cluster penskalaan konkurensi dengan mengonfigurasi antrian. WLM Saat Anda mengaktifkan penskalaan konkurensi, kueri yang memenuhi syarat akan dikirim ke klaster penskalaan konkurensi alih-alih menunggu dalam antrian.

Anda dikenakan biaya untuk klaster penskalaan konkurensi hanya untuk saat mereka aktif menjalankan kueri. Untuk informasi selengkapnya tentang harga, termasuk bagaimana biaya bertambah dan biaya minimum, lihat Harga Penskalaan Konkurensi.

Kemampuan penskalaan konkurensi

Saat Anda mengaktifkan penskalaan konkurensi untuk WLM antrian, ini berfungsi untuk operasi baca, seperti kueri dasbor. Ini juga berfungsi untuk operasi penulisan yang umum digunakan, seperti pernyataan untuk konsumsi dan pemrosesan data.

Kemampuan penskalaan konkurensi untuk operasi penulisan

Penskalaan konkurensi mendukung operasi penulisan yang sering digunakan, seperti pernyataan ekstrak, transformasi, dan load (ETL). Penskalaan konkurensi untuk operasi penulisan sangat berguna ketika Anda ingin mempertahankan waktu respons yang konsisten ketika klaster Anda menerima sejumlah besar permintaan. Ini meningkatkan throughput untuk operasi penulisan bersaing untuk sumber daya di cluster utama.

Penskalaan konkurensi mendukungCOPY,INSERT,DELETE,UPDATE, dan pernyataan CREATE TABLE AS (CTAS). Selain itu, penskalaan konkurensi mendukung penyegaran tampilan terwujud karena MVs tidak menggunakan agregasi. Pernyataan bahasa manipulasi data (DML) lainnya dan pernyataan bahasa definisi data (DDL) tidak didukung. Ketika pernyataan tulis yang tidak didukung, TABLE seperti CREATE tanpa AS, disertakan dalam transaksi eksplisit sebelum pernyataan tulis yang didukung, tidak ada pernyataan tulis yang akan berjalan pada cluster penskalaan konkurensi.

Ketika Anda memperoleh kredit untuk penskalaan konkurensi, akrual kredit ini berlaku untuk operasi baca dan tulis.

Batasan untuk penskalaan konkurensi

Berikut ini adalah batasan untuk menggunakan penskalaan konkurensi Amazon Redshift:

  • Itu tidak mendukung kueri pada tabel yang menggunakan kunci pengurutan interleaved.

  • Itu tidak mendukung kueri pada tabel sementara.

  • Itu tidak mendukung kueri yang mengakses sumber daya eksternal yang dilindungi oleh jaringan terbatas atau konfigurasi cloud pribadi virtual (VPC).

  • Itu tidak mendukung kueri yang berisi fungsi yang ditentukan pengguna Python () UDFs dan Lambda. UDFs

  • Itu tidak mendukung kueri yang mengakses tabel sistem, tabel SQL katalog Postgre, atau tabel tanpa cadangan.

  • Itu tidak mendukung COPY atau UNLOAD kueri yang mengakses sumber daya eksternal saat izin IAM kebijakan terbatas diberlakukan. Ini termasuk izin yang diterapkan baik ke sumber daya, seperti bucket Amazon S3 atau tabel DynamoDB, atau ke sumber. IAMsumber dapat mencakup yang berikut:

    • aws:sourceVpc- Sebuah sumberVPC.

    • aws:sourceVpce— VPC Titik akhir sumber.

    • aws:sourceIp— Alamat IP sumber.

    Dalam beberapa kasus, Anda mungkin perlu menghapus izin yang membatasi sumber daya atau sumber, sehingga COPY dan UNLOAD kueri yang mengakses sumber daya dikirim ke cluster penskalaan persetujuan.

    Untuk informasi selengkapnya tentang kebijakan sumber daya, lihat Jenis kebijakan di panduan AWS Identity and Access Management pengguna dan Mengontrol akses dari VPC titik akhir dengan kebijakan bucket.

  • Penskalaan konkurensi Amazon Redshift untuk operasi penulisan tidak didukung untuk DDL operasi, seperti atau. CREATE TABLE ALTER TABLE

  • Itu tidak mendukung ANALYZE COPY perintah.

  • Itu tidak mendukung operasi tulis pada tabel target di mana DISTSTYLE diatur keALL.

  • Itu tidak mendukung COPY dari format file berikut:

    • Parquet

    • ORC

  • Itu tidak mendukung operasi tulis pada tabel dengan kolom identitas.

  • Amazon Redshift mendukung penskalaan konkurensi untuk operasi penulisan hanya pada node Amazon Redshift. RA3 Penskalaan konkurensi untuk operasi penulisan tidak didukung pada jenis node lainnya.

Wilayah AWS untuk penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat menggunakan penskalaan konkurensi untuk mengelola tuntutan beban kerja bersamaan di seluruh klaster Redshift. Topik ini merinci di wilayah mana Anda dapat menggunakan penskalaan konkurensi dengan Amazon Redshift.

Penskalaan konkurensi tersedia di Wilayah ini AWS :

  • Wilayah AS Timur (Virginia N.) (us-east-1)

  • Wilayah AS Timur (Ohio) (us-east-2)

  • Wilayah AS Barat (California N.) (us-west-1)

  • Wilayah AS Barat (Oregon) (us-west-2)

  • Wilayah Asia Pasifik (Mumbai) (ap-south-1)

  • Wilayah Asia Pasifik (Seoul) (ap-northeast-2)

  • Wilayah Asia Pasifik (Singapura) (ap-southeast-1)

  • Wilayah Asia Pasifik (Sydney) (ap-southeast-2)

  • Wilayah Asia Pasifik (Tokyo) (ap-northeast-1)

  • Wilayah Kanada (Tengah) (ca-central-1)

  • Wilayah China (Beijing) (cn-utara-1)

  • Wilayah China (Ningxia) (cn-barat laut-1)

  • Wilayah Eropa (Frankfurt) (eu-central-1)

  • Wilayah Eropa (Irlandia) (eu-west-1)

  • Wilayah Eropa (London) (eu-west-2)

  • Wilayah Eropa (Paris) (eu-west-3)

  • Wilayah Eropa (Stockholm) (eu-north-1)

  • Wilayah Eropa (Zurich) (eu-central-2)

  • Wilayah Eropa (Spanyol) (eu-south-2)

  • Wilayah Amerika Selatan (São Paulo) (sa-east-1)

  • AWS GovCloud (AS-Timur)

Kandidat penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat meningkatkan skala pemrosesan kueri untuk mempercepat eksekusi kueri bersamaan. Topik berikut menjelaskan kriteria yang digunakan Amazon Redshift untuk menentukan kueri apa yang akan dirutekan ke penskalaan konkurensi.

Kueri dialihkan ke klaster penskalaan konkurensi hanya jika klaster utama memenuhi persyaratan berikut:

  • EC2- VPC platform.

  • Jenis node harus dc2.8xlarge, dc2.large, ra3.large, ra3.xlplus, ra3.4xlarge, atau ra3.16xlarge. Penskalaan konkurensi untuk operasi penulisan hanya didukung pada node Amazon RA3 Redshift.

  • Maksimum 32 node komputasi untuk cluster dengan tipe node ra3.xlplus, ra3.4xlarge, atau ra3.16xlarge. Selain itu, jumlah node dari cluster utama tidak boleh lebih besar dari 32 node ketika cluster awalnya dibuat. Misalnya, bahkan jika sebuah cluster saat ini memiliki 20 node, tetapi awalnya dibuat dengan 40, itu tidak memenuhi persyaratan untuk penskalaan konkurensi. Sebaliknya, jika sebuah DC2 cluster saat ini memiliki 40 node, tetapi awalnya dibuat dengan 20, itu memenuhi persyaratan untuk penskalaan konkurensi.

  • Bukan cluster simpul tunggal.

Mengkonfigurasi antrian penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat mengelola konkurensi dan sumber daya sistem dengan mengonfigurasi penskalaan konkurensi. Antrian penskalaan konkurensi memungkinkan Anda menetapkan batasan jumlah kueri atau sesi pengguna yang dapat dieksekusi secara bersamaan. Bagian berikut memberikan petunjuk tentang cara mengaktifkan antrian penskalaan konkurensi di Amazon Redshift, memungkinkan Anda menangani kueri dan sesi pengguna secara efektif.

Anda merutekan kueri ke kluster penskalaan konkurensi dengan mengaktifkan penskalaan konkurensi dalam antrian manajer beban kerja (). WLM Untuk mengaktifkan penskalaan konkurensi untuk antrian, setel nilai mode Penskalaan Konkurensi ke auto.

Ketika jumlah kueri yang dirutekan ke antrian dengan penskalaan konkurensi diaktifkan melebihi kapasitas konkurensi antrian, baik kapasitas dikonfigurasi secara manual atau ditentukan secara otomatis, kueri yang memenuhi syarat akan dikirim ke klaster penskalaan konkurensi. Ketika slot antrian tersedia di cluster utama, kueri dirutekan ke dan dijalankan di cluster utama. Seperti halnya WLM antrian apa pun, Anda merutekan kueri ke antrian penskalaan konkurensi berdasarkan grup pengguna, atau dengan memberi label kueri dengan label grup kueri, atau sesuai dengan kondisi pencocokan yang ditentukan dalam Menetapkan kueri ke antrian. Anda juga dapat merutekan kueri dengan mendefinisikanWLMaturan pemantauan kueri. Misalnya, Anda dapat merutekan semua kueri yang membutuhkan waktu lebih dari 5 detik ke antrian penskalaan konkurensi. Perlu diingat bahwa perilaku antrian dapat bervariasi, tergantung pada apakah Anda menggunakan otomatis WLM atau manual. WLM Untuk informasi selengkapnya, lihat Menerapkan manual otomatis WLM atau Menerapkan WLM.

Jumlah default cluster penskalaan konkurensi adalah satu. Jumlah cluster penskalaan konkurensi yang dapat digunakan dikendalikan oleh. max_concurrency_scaling_clusters

Memantau penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat memantau dan mengelola penskalaan konkurensi untuk mengoptimalkan kinerja dan efisiensi biaya untuk beban kerja pergudangan data Anda. Penskalaan konkurensi memungkinkan Amazon Redshift untuk secara otomatis menambahkan kapasitas klaster tambahan saat tuntutan beban kerja meningkat, dan menghapus kapasitas tersebut saat permintaan berkurang. Bagian berikut memberikan panduan tentang pemantauan penskalaan konkurensi untuk klaster Amazon Redshift Anda.

Anda dapat melihat apakah kueri berjalan di cluster utama atau klaster penskalaan konkurensi dengan menavigasi ke Cluster di konsol Amazon Redshift dan memilih klaster. Kemudian pilih tab Pemantauan kueri dan konkurensi Beban Kerja untuk melihat informasi tentang menjalankan kueri dan kueri antrian.

Untuk menemukan waktu eksekusi, kueri QUERY tabel STL _ dan filter pada concurrency_scaling_status kolom. Kueri berikut membandingkan waktu antrian dan waktu eksekusi untuk kueri yang dijalankan pada cluster penskalaan konkurensi dan kueri yang dijalankan di cluster utama.

SELECT w.service_class AS queue
, CASE WHEN q.concurrency_scaling_status = 1 THEN 'concurrency scaling cluster' ELSE 'main cluster' END as concurrency_scaling_status
, COUNT( * ) AS queries
, SUM( q.aborted ) AS aborted
, SUM( ROUND( total_queue_time::NUMERIC / 1000000,2) ) AS queue_secs
, SUM( ROUND( total_exec_time::NUMERIC / 1000000,2) ) AS exec_secs
FROM stl_query q
JOIN stl_wlm_query w
USING (userid,query)
WHERE q.userid > 1
AND q.starttime > '2019-01-04 16:38:00'
AND q.endtime < '2019-01-04 17:40:00'
GROUP BY 1,2
ORDER BY 1,2;

Sesuaikan starttime dan endtime nilai sesuai dengan kebutuhan Anda.

Tampilan sistem penskalaan konkurensi

Dengan Amazon Redshift, Anda dapat menggunakan tampilan sistem penskalaan konkurensi untuk memantau dan mengelola aktivitas penskalaan konkurensi di klaster Anda. Bagian berikut menjelaskan kueri tampilan sistem ini dan menafsirkan hasilnya untuk secara efektif memanfaatkan penskalaan konkurensi di lingkungan Amazon Redshift Anda.

Satu set tampilan sistem dengan awalan SVCS memberikan rincian dari tabel log sistem tentang kueri pada cluster penskalaan utama dan konkurensi.

Tampilan berikut memiliki informasi yang serupa dengan STL tampilan atau SVL tampilan yang sesuai:

Tampilan berikut khusus untuk penskalaan konkurensi.

Untuk informasi selengkapnya tentang penskalaan konkurensi, lihat topik berikut di Panduan Manajemen Pergeseran Merah Amazon.