자습서: 수동 워크로드 관리(WLM) 대기열 구성

Amazon Redshift RSQL을 열고 TICKIT 샘플 데이터베이스에 연결합니다. 이 역할이 구성되지 않은 경우 사전 조건 섹션을 참조하세요.

다음 쿼리를 실행하여 WLM_QUEUE_STATE_VW 뷰를 생성합니다.

create view WLM_QUEUE_STATE_VW as
select (config.service_class-5) as queue
, trim (class.condition) as description
, config.num_query_tasks as slots
, config.query_working_mem as mem
, config.max_execution_time as max_time
, config.user_group_wild_card as "user_*"
, config.query_group_wild_card as "query_*"
, state.num_queued_queries queued
, state.num_executing_queries executing
, state.num_executed_queries executed
from
STV_WLM_CLASSIFICATION_CONFIG class,
STV_WLM_SERVICE_CLASS_CONFIG config,
STV_WLM_SERVICE_CLASS_STATE state
where
class.action_service_class = config.service_class 
and class.action_service_class = state.service_class 
and config.service_class > 4
order by config.service_class;

다음 쿼리를 실행하여 뷰에 포함된 정보를 확인합니다.

select * from wlm_queue_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (querytype:any)                           |     5 | 836 |        0 |  false | false   |      0 |         1 |      160

RSQL에서 다음 쿼리를 실행하여 WLM_QUERY_STATE_VW 뷰를 생성합니다.

create view WLM_QUERY_STATE_VW as
select query, (service_class-5) as queue, slot_count, trim(wlm_start_time) as start_time, trim(state) as state, trim(queue_time) as queue_time, trim(exec_time) as exec_time
from stv_wlm_query_state;

다음 쿼리를 실행하여 뷰에 포함된 정보를 확인합니다.

select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1249 |     1 |          1 | 2014-09-24 22:19:16 | Executing | 0          | 516

RSQL 창 2개를 엽니다. 이미 창을 1개 열었다면 두 번째 창만 열면 됩니다. 두 창을 모두 연결하는 데 동일한 사용자 계정을 사용할 수 있습니다.

RSQL 창 1에서는 다음 쿼리를 실행합니다.

select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1258 |     1 |          1 | 2014-09-24 22:21:03 | Executing | 0          | 549

이 쿼리는 자기 참조적 결과를 반환합니다. 현재 실행 중인 쿼리는 이 보기의 SELECT 문입니다. 이 뷰에 대한 쿼리는 항상 1개 이상의 결과를 반환합니다. 이 결과를 다음 단계에서 장시간 실행 쿼리를 시작하여 나타나는 결과와 서로 비교합니다.

RSQL 창 2에서는 TICKIT 샘플 데이터베이스에서 쿼리를 실행합니다. 이 쿼리는 앞에서 생성한 WLM_QUEUE_STATE_VW 뷰와 WLM_QUERY_STATE_VW 뷰의 결과를 충분히 살펴볼 수 있도록 약 1분 동안 실행해야 합니다. 경우에 따라 두 뷰에 대한 쿼리를 실행할 수 있을 정도로 쿼리 실행 시간이 충분히 길지 않을 수 있습니다. 이러한 경우 l.listid 에 대한 필터 값을 높여서 실행 시간을 연장할 수 있습니다.

현재 세션에 대해 결과 캐싱을 해제하려면 다음과 같이 enable_result_cache_for_session 파라미터를 off로 설정합니다.

set enable_result_cache_for_session to off;

RSQL 창 2에서는 다음 쿼리를 실행합니다.

select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid < 100000;

RSQL 창 1에서 WLM_QUEUE_STATE_VW 및 WLM_QUERY_STATE_VW에 대한 쿼리를 실행하여 결과를 앞선 결과와 비교합니다.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (querytype:any)                           |     5 | 836 |        0 |  false | false   |      0 |         2 |      163
                        
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 1267 |     1 |          1 | 2014-09-24 22:22:30 | Executing | 0          | 684
 1265 |     1 |          1 | 2014-09-24 22:22:36 | Executing | 0          | 4080859

RSQL을 열고 다음 쿼리를 실행합니다. 쿼리는 1단계: WLM_QUEUE_STATE_VW 뷰 생성에서 생성한 WLM_QUEUE_STATE_VW 뷰를 사용합니다. 클러스터 재부팅 이전에 세션이 이미 데이터베이스에 연결되어 있다면 다시 연결해야 합니다.

select * from wlm_queue_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        0
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        0

위 결과를 1단계: WLM_QUEUE_STATE_VW 뷰 생성에서 나온 결과와 비교합니다. 여기에서는 대기열 2개가 추가된 것을 알 수 있습니다. 대기열 1은 테스트 쿼리 그룹을 위한 대기열이고, 대기열 2는 관리자 사용자 그룹을 위한 대기열입니다.

대기열 3은 이제 기본 대기열입니다. 목록에서 마지막 대기열은 항상 기본 대기열입니다. 즉 쿼리에서 사용자 그룹 또는 쿼리 그룹을 따로 지정하지 않으면 쿼리가 기본적으로 라우팅되는 대기열을 말합니다.

다음 쿼리를 실행하여 쿼리가 대기열 3에서 실행되는지 확인합니다.

select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2144 |     3 |          1 | 2014-09-24 23:49:59 | Executing | 0          | 550430

다음 쿼리를 실행하여 test 쿼리 그룹으로 라우팅합니다.

set query_group to test;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

나머지 RSQL 창에서 다음 쿼리를 실행합니다.

select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2168 |     1 |          1 | 2014-09-24 23:54:18 | Executing | 0          | 6343309
 2170 |     3 |          1 | 2014-09-24 23:54:24 | Executing | 0          | 847

쿼리가 테스트 쿼리 그룹인 대기열 1로 라우팅되었습니다.

대기열 상태 뷰에서 모두 선택합니다.

select * from wlm_queue_state_vw;

다음과 같은 결과가 출력됩니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         1 |        0
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        0

이제 쿼리 그룹을 재설정한 후 장기(long) 쿼리를 다시 실행합니다.

reset query_group;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

두 뷰에 대한 쿼리를 실행하여 결과를 확인합니다.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         2 |        5
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2186 |     3 |          1 | 2014-09-24 23:57:52 | Executing | 0          | 649
 2184 |     3 |          1 | 2014-09-24 23:57:48 | Executing | 0          | 4137349

결과는 위와 같이 쿼리가 다시 대기열 3에서 실행되고 있는 모습이어야 합니다.

RSQL 창에서 다음 명령을 실행하여 adminwlm이라는 이름의 새로운 데이터베이스 사용자를 데이터베이스에 생성합니다.

create user adminwlm createuser password '123Admin';

그러고 나서 다음 명령을 실행하여 새로운 사용자 그룹을 생성한 후 새로운 adminwlm 사용자를 그룹에 추가합니다.

create group admin;
alter group admin add user adminwlm;

RSQL 창 2에서 다음 쿼리를 실행하여 adminwlm 계정으로 전환한 후 해당 사용자 권한으로 쿼리를 실행합니다.

set session authorization 'adminwlm';
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

RSQL 창 1에서 다음 쿼리를 실행하여 쿼리가 라우팅되는 대기열을 확인합니다.

select * from wlm_query_state_vw;
select * from wlm_queue_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        0
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |        8
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2202 |     2 |          1 | 2014-09-25 00:01:38 | Executing | 0          | 4885796
 2204 |     3 |          1 | 2014-09-25 00:01:43 | Executing | 0          | 650

이 쿼리가 실행된 대기열은 2번인 admin 사용자 대기열입니다. 이제 앞으로 이 사용자 권한으로 로그인하여 쿼리를 실행할 때마다 다른 쿼리 그룹을 지정하지 않는 한 대기열 2에서 쿼리가 실행됩니다. 선택한 대기열은 대기열 할당 규칙에 따라 달라집니다. 자세한 내용은 WLM 대기열 할당 규칙 단원을 참조하십시오.

이제 RSQL 창 2에서 다음 쿼리를 실행합니다.

set query_group to test;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

RSQL 창 1에서 다음 쿼리를 실행하여 쿼리가 라우팅되는 대기열을 확인합니다.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         1 |        1
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        1
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       10
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2218 |     1 |          1 | 2014-09-25 00:04:30 | Executing | 0          | 4819666
 2220 |     3 |          1 | 2014-09-25 00:04:35 | Executing | 0          | 685

모두 마친 후에는 쿼리 그룹을 재설정합니다.

reset query_group;

WLM_QUERY_STATE_VW 뷰에 대한 쿼리를 실행하여 결과까지 충분히 볼 수 있도록 쿼리에 대한 제한을 높입니다.

set wlm_query_slot_count to 3; 
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

이제 관리자 계정을 사용하여 WLM_QUERY_STATE_VW에 대한 쿼리를 실행하고 쿼리가 어떻게 실행되고 있는지 확인합니다.

select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2240 |     2 |          1 | 2014-09-25 00:08:45 | Executing | 0          | 3731414
 2242 |     3 |          1 | 2014-09-25 00:08:49 | Executing | 0          | 596

쿼리의 슬롯 수는 현재 3개입니다. 이 수는 쿼리가 슬롯 3개를 모두 사용하여 쿼리를 처리하면서 대기열의 모든 리소스를 해당 쿼리에 할당하고 있다는 것을 의미합니다.

이제 다음 쿼리를 실행합니다.

select * from WLM_QUEUE_STATE_VW;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        4
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        3
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       25

wlm_query_slot_count 구성 설정은 현재 세션에서만 유효합니다. 이 세션이 종료되거나 다른 사용자가 쿼리를 실행할 경우에는 WLM 구성이 사용됩니다.

슬롯 수를 재설정한 후 테스트를 다시 실행합니다.

reset wlm_query_slot_count;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      0 |         0 |        2
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         1 |        2
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       14
 
query | queue | slot_count | start_time          | state     | queue_time | exec_time
------+-------+------------+---------------------+-----------+------------+-----------
 2260 |     2 |          1 | 2014-09-25 00:12:11 | Executing | 0          | 4042618
 2262 |     3 |          1 | 2014-09-25 00:12:15 | Executing | 0          | 680

RSQL 창 1 및 2에서 다음과 같이 실행하여 테스트 쿼리 그룹을 사용합니다.

set query_group to test;

RSQL 창 1에서 다음 장기(long-running) 쿼리를 실행합니다.

select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

장기 쿼리가 여전히 RSQL 창 1에서 실행되고 있을 때 다음을 실행합니다. 이러한 명령은 대기열의 슬롯을 모두 사용할 수 있도록 슬롯 수를 높인 다음 장기 쿼리를 시작합니다.

set wlm_query_slot_count to 2;
select avg(l.priceperticket*s.qtysold) from listing l, sales s where l.listid <40000;

세 번째 RSQL 창을 열고 뷰에 대한 쿼리를 실행하여 결과를 확인합니다.

select * from wlm_queue_state_vw;
select * from wlm_query_state_vw;

다음은 예 결과입니다.

query | description                               | slots | mem | max_time | user_* | query_* | queued | executing | executed
------+-------------------------------------------+-------+-----+----------+--------+---------+--------+-----------+----------
    0 | (super user) and (query group: superuser) |     1 | 357 |        0 |  false | false   |      0 |         0 |        0
    1 | (query group: test)                       |     2 | 627 |        0 |  false | false   |      1 |         1 |        2
    2 | (suser group: admin)                      |     3 | 557 |        0 |  false | false   |      0 |         0 |        3
    3 | (querytype:any)                           |     5 | 250 |        0 |  false | false   |      0 |         1 |       18
 
query | queue | slot_count | start_time          | state         | queue_time | exec_time
------+-------+------------+---------------------+---------------+------------+-----------
 2286 |     1 |          2 | 2014-09-25 00:16:48 | QueuedWaiting | 3758950    | 0
 2282 |     1 |          1 | 2014-09-25 00:16:33 | Executing     | 0          | 19335850
 2288 |     3 |          1 | 2014-09-25 00:16:52 | Executing     | 0          | 666

첫 번째 쿼리는 대기열 1에 할당된 슬롯 중 하나를 사용하여 쿼리를 실행합니다. 또한 대기열에서 대기 중인 쿼리가 하나 있습니다(여기에서 queued는 1이고 state는 QueuedWaiting임). 첫 번째 쿼리가 실행을 마치면 두 번째 쿼리가 실행을 시작합니다. 이렇게 실행되는 이유는 두 쿼리가 모두 test 쿼리 그룹으로 라우팅되었기 때문이며, 두 번째 쿼리는 처리를 시작할 정도로 충분한 수의 슬롯이 나올 때까지 대기해야 합니다.