Tutorial: Mengkonfigurasi manajemen beban kerja manual () antrian WLM

Buka Amazon Redshift RSQL dan sambungkan ke database TICKIT sampel Anda. Jika Anda tidak memiliki database ini, lihatPrasyarat.

Jalankan kueri berikut untuk membuat tampilan WLM _ QUEUE _ STATE _VW.

create view WLM_QUEUE_STATE_VW as
select (config.service_class-5) as queue
, trim (class.condition) as description
, config.num_query_tasks as slots
, config.query_working_mem as mem
, config.max_execution_time as max_time
, config.user_group_wild_card as "user_*"
, config.query_group_wild_card as "query_*"
, state.num_queued_queries queued
, state.num_executing_queries executing
, state.num_executed_queries executed
from
STV_WLM_CLASSIFICATION_CONFIG class,
STV_WLM_SERVICE_CLASS_CONFIG config,
STV_WLM_SERVICE_CLASS_STATE state
where
class.action_service_class = config.service_class 
and class.action_service_class = state.service_class 
and config.service_class > 4
order by config.service_class;

Jalankan kueri berikut untuk melihat informasi yang berisi tampilan.

select * from wlm_queue_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (querytype:any)                           |     5 | 836 |        0 |  false | false   |      0 |         1 |      160

DiRSQL, jalankan kueri berikut untuk membuat tampilan WLM _ QUERY _ STATE _VW.

create view WLM_QUERY_STATE_VW as
select query, (service_class-5) as queue, slot_count, trim(wlm_start_time) as start_time, trim(state) as state, trim(queue_time) as queue_time, trim(exec_time) as exec_time
from stv_wlm_query_state;

Jalankan kueri berikut untuk melihat informasi yang berisi tampilan.

select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1249 |     1 |          1 | 2014-09-24 22:19:16 | Executing | 0          | 516

Buka dua RSQL jendela. Jika Anda sudah memiliki satu jendela terbuka, Anda hanya perlu membuka jendela kedua. Anda dapat menggunakan akun pengguna yang sama untuk kedua koneksi ini.

Di RSQL jendela 1, jalankan query berikut.

select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1258 |     1 |          1 | 2014-09-24 22:21:03 | Executing | 0          | 549

Kueri ini mengembalikan hasil referensial diri. Kueri yang sedang berjalan adalah SELECT pernyataan dari tampilan ini. Kueri pada tampilan ini selalu mengembalikan setidaknya satu hasil. Bandingkan hasil ini dengan hasil yang terjadi setelah memulai kueri yang berjalan lama di langkah berikutnya.

Di RSQL jendela 2, jalankan kueri dari database TICKIT sampel. Kueri ini harus berjalan sekitar satu menit sehingga Anda memiliki waktu untuk menjelajahi hasil tampilan WLM _ QUEUE _ STATE _VW dan tampilan WLM _ QUERY _ STATE _VW yang Anda buat sebelumnya. Dalam beberapa kasus, Anda mungkin menemukan bahwa kueri tidak berjalan cukup lama bagi Anda untuk menanyakan kedua tampilan. Dalam kasus ini, Anda dapat meningkatkan nilai filter l.listid agar berjalan lebih lama.

Untuk mematikan caching hasil untuk sesi saat ini, atur enable_result_cache_for_session parameter keoff, seperti yang ditunjukkan berikut.

set enable_result_cache_for_session to off;

Di RSQL jendela 2, jalankan query berikut.

select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid < 100000;

Di RSQL jendela 1, kueri WLM _ QUEUE _ STATE _VW dan WLM _ QUERY _ STATE _VW dan bandingkan hasilnya dengan hasil Anda sebelumnya.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (querytype:any)                           |     5 | 836 |        0 |  false | false   |      0 |         2 |      163
                        
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1267 |     1 |          1 | 2014-09-24 22:22:30 | Executing | 0          | 684
 1265 |     1 |          1 | 2014-09-24 22:22:36 | Executing | 0          | 4080859

Buka RSQL dan jalankan query berikut. Kueri menggunakan tampilan WLM _ QUEUE _ STATE _VW yang Anda buat. Langkah 1: Buat tampilan WLM _ QUEUE _ STATE _VW Jika Anda sudah memiliki sesi yang terhubung ke database sebelum cluster reboot, Anda perlu menyambung kembali.

select * from wlm_queue_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        0
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        0

Bandingkan hasil ini dengan hasil yang Anda terimaLangkah 1: Buat tampilan WLM _ QUEUE _ STATE _VW. Perhatikan bahwa sekarang ada dua antrian tambahan. Antrian 1 sekarang menjadi antrian untuk grup kueri pengujian, dan antrian 2 adalah antrian untuk grup pengguna admin.

Antrian 3 sekarang menjadi antrian default. Antrian terakhir dalam daftar selalu antrian default. Itulah antrian ke mana kueri dirutekan secara default jika tidak ada grup pengguna atau grup kueri yang ditentukan dalam kueri.

Jalankan kueri berikut untuk mengonfirmasi bahwa kueri Anda sekarang berjalan dalam antrian 3.

select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2144 |     3 |          1 | 2014-09-24 23:49:59 | Executing | 0          | 550430

Jalankan query berikut untuk merutekan ke grup test query.

set query_group to test;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Dari RSQL jendela lain, jalankan query berikut.

select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2168 |     1 |          1 | 2014-09-24 23:54:18 | Executing | 0          | 6343309
 2170 |     3 |          1 | 2014-09-24 23:54:24 | Executing | 0          | 847

Kueri dirutekan ke grup kueri uji, yang sekarang merupakan antrian 1.

Pilih semua dari tampilan status antrian.

select * from wlm_queue_state_vw;

Anda melihat hasil yang mirip dengan berikut ini.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         1 |        0
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        0

Sekarang, atur ulang grup kueri dan jalankan kueri panjang lagi:

reset query_group;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Jalankan kueri terhadap tampilan untuk melihat hasilnya.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         2 |        5
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2186 |     3 |          1 | 2014-09-24 23:57:52 | Executing | 0          | 649
 2184 |     3 |          1 | 2014-09-24 23:57:48 | Executing | 0          | 4137349

Hasilnya seharusnya kueri sekarang berjalan dalam antrian 3 lagi.

Dalam database, buat pengguna database baru bernama adminwlm dengan menjalankan perintah berikut di RSQL jendela.

create user adminwlm createuser password '123Admin';

Kemudian, jalankan perintah berikut untuk membuat grup pengguna baru dan menambahkan adminwlm pengguna baru Anda ke dalamnya.

create group admin;
alter group admin add user adminwlm;

Di RSQL jendela 2, jalankan kueri berikut untuk beralih ke adminwlm akun dan menjalankan kueri sebagai pengguna tersebut.

set session authorization 'adminwlm';
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Di RSQL jendela 1, jalankan kueri berikut untuk melihat antrian kueri tempat kueri dirutekan.

select * from wlm_query_state_vw;
select * from wlm_queue_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        8
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2202 |     2 |          1 | 2014-09-25 00:01:38 | Executing | 0          | 4885796
 2204 |     3 |          1 | 2014-09-25 00:01:43 | Executing | 0          | 650

Antrian tempat kueri ini dijalankan adalah antrian 2, antrian admin pengguna. Setiap kali Anda menjalankan kueri yang masuk sebagai pengguna ini, mereka berjalan dalam antrian 2 kecuali Anda menentukan grup kueri yang berbeda untuk digunakan. Antrian yang dipilih tergantung pada aturan penetapan antrian. Untuk informasi selengkapnya, lihat WLMaturan penetapan antrian.

Sekarang jalankan query berikut dari RSQL jendela 2.

set query_group to test;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Di RSQL jendela 1, jalankan kueri berikut untuk melihat antrian kueri tempat kueri dirutekan.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         1 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        1
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       10
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2218 |     1 |          1 | 2014-09-25 00:04:30 | Executing | 0          | 4819666
 2220 |     3 |          1 | 2014-09-25 00:04:35 | Executing | 0          | 685

Setelah selesai, setel ulang grup kueri.

reset query_group;

Tingkatkan batas kueri untuk memastikan bahwa Anda memiliki cukup waktu untuk menanyakan tampilan WLM _ QUERY _ STATE _VW dan melihat hasilnya.

set wlm_query_slot_count to 3; 
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Sekarang, kueri WLM QUERY _ _ STATE _VW dengan pengguna admin untuk melihat bagaimana kueri berjalan.

select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2240 |     2 |          1 | 2014-09-25 00:08:45 | Executing | 0          | 3731414
 2242 |     3 |          1 | 2014-09-25 00:08:49 | Executing | 0          | 596

Perhatikan bahwa jumlah slot untuk kueri adalah 3. Hitungan ini berarti bahwa kueri menggunakan ketiga slot untuk memproses kueri, mengalokasikan semua sumber daya dalam antrian ke kueri itu.

Sekarang, jalankan query berikut.

select * from WLM_QUEUE_STATE_VW;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        4
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        3
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       25

Pengaturan konfigurasi wlm_query_slot_count hanya berlaku untuk sesi saat ini. Jika sesi itu kedaluwarsa, atau pengguna lain menjalankan kueri, WLM konfigurasi akan digunakan.

Setel ulang jumlah slot dan jalankan kembali tes.

reset wlm_query_slot_count;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        2
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        2
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       14
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2260 |     2 |          1 | 2014-09-25 00:12:11 | Executing | 0          | 4042618
 2262 |     3 |          1 | 2014-09-25 00:12:15 | Executing | 0          | 680

Di RSQL jendela 1 dan 2, jalankan berikut ini untuk menggunakan grup kueri uji.

set query_group to test;

Di RSQL jendela 1, jalankan kueri yang berjalan lama berikut.

select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Karena kueri yang berjalan lama masih ada di RSQL jendela 1, jalankan yang berikut ini. Perintah ini meningkatkan jumlah slot untuk menggunakan semua slot untuk antrian dan kemudian mulai menjalankan kueri yang berjalan lama.

set wlm_query_slot_count to 2;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

Buka RSQL jendela ketiga dan kueri tampilan untuk melihat hasilnya.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

Berikut ini adalah contoh hasil.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      1 |         1 |        2
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        3
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       18
 
query | queue | slot_count | start_time          | state         | queue_time | exec_time
------+-------+------------+---------------------+---------------+------------+-----------
 2286 |     1 |          2 | 2014-09-25 00:16:48 | QueuedWaiting | 3758950    | 0
 2282 |     1 |          1 | 2014-09-25 00:16:33 | Executing     | 0          | 19335850
 2288 |     3 |          1 | 2014-09-25 00:16:52 | Executing     | 0          | 666

Perhatikan bahwa kueri pertama menggunakan salah satu slot yang dialokasikan untuk antrian 1 untuk menjalankan kueri. Selain itu, perhatikan bahwa ada satu kueri yang menunggu dalam antrian (di mana queued 1 dan di state manaQueuedWaiting). Setelah kueri pertama selesai, yang kedua mulai berjalan. Eksekusi ini terjadi karena kedua kueri dirutekan ke grup test kueri, dan kueri kedua harus menunggu slot yang cukup untuk mulai diproses.