워크로드 관리

Amazon Redshift에서는 워크로드 관리(WLM)를 통해 사용 가능한 쿼리 대기열의 수와 쿼리가 처리를 위해 대기열로 라우팅되는 방식을 정의합니다. WLM은 파라미터 그룹 구성에 포함됩니다. 클러스터는 연결된 파라미터 그룹에서 지정하는 WLM 구성을 사용합니다.

파라미터 그룹을 생성할 때는 동시에 5개까지 쿼리를 실행할 수 있는 대기열 1개가 기본 WLM 구성에 포함됩니다. 여기에 대기열을 추가할 수 있으며, 쿼리 처리에 대한 통제 권한을 높이려면 각 대기열마다 WLM 속성을 구성하면 됩니다. 추가하는 대기열에는 속성을 구성할 때까지 마찬가지 기본 WLM 구성이 적용됩니다.

대기열을 추가할 때는 마지막 대기열이 기본 대기열이 됩니다. WLM 구성 기준에 따라 다른 대기열로 라우팅되지 않는 쿼리는 기본 대기열에서 처리됩니다. 기본 대기열에 모드 및 동시성 레벨(쿼리 슬롯)을 지정할 수 있지만 기본 대기열에 사용자 그룹 또는 쿼리 그룹을 지정할 수는 없습니다.

다른 파라미터에서도 그렇지만 기본 파라미터 그룹의 WLM 구성은 수정할 수 없습니다. 기본 파라미터 그룹과 연결된 클러스터는 항상 기본 WLM 구성을 사용합니다. WLM 구성을 수정하려면 새 파라미터 그룹을 생성한 후 사용자 지정 WLM 구성이 필요한 모든 클러스터와 생성한 파라미터 그룹을 연결합니다.

WLM 동적 및 정적 속성

WLM 구성 속성은 동적이거나 정적입니다. 동적 속성은 클러스터 재부팅 없이도 데이터베이스에 적용할 수 있지만 정적 속성의 경우 변경 사항이 적용되려면 클러스터를 재부팅해야 합니다. 정적 및 동적 속성에 대한 자세한 내용은 WLM 동적 및 정적 구성 속성을 참조하십시오.

WLM 구성 파라미터의 속성

Amazon Redshift 콘솔, AWS CLI, Amazon Redshift API 또는 AWS SDK 중 하나를 사용하여 WLM을 구성할 수 있습니다. WLM 구성은 몇 가지 속성을 사용하여 대기열에 대한 메모리 할당, 대기열에서 동시에 실행 가능한 쿼리 수 등 대기열 동작을 정의합니다.

다음 표는 속성이 자동 WLM에 적용되는지, 아니면 수동 WML에 적용되는지 여부를 요약한 것입니다.

다음은 구성할 수 있는 WLM 속성을 설명한 것입니다.

쿼리 대기열 구성을 위한 이러한 각 속성 및 전략에 대한 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서의 워크로드 관리 구현을 참조하세요.

AWS CLI를 사용하여 WLM 파라미터 구성

WLM을 구성하려면 wlm_json_configuration 파라미터를 수정합니다. wlm_json_configuration 속성 값의 최대 크기는 8000자입니다. 파라미터 값은 JSON(JavaScript Object Notation) 형식을 따릅니다. AWS CLI, Amazon Redshift API 또는 AWS SDK 중 하나를 사용하여 WLM을 구성하는 경우 이 섹션의 나머지 부분에서 wlm_json_configuration 파라미터에 맞춰 JSON 구조를 생성하는 방법에 대해 알아보세요.

예

다음은 자동 WLM을 사용하는 대기열 하나를 정의하는 기본 WLM 구성 예입니다.

{
   "auto_wlm": true
}

예

다음은 동시성 레벨(쿼리 슬롯)이 5인 수동 WLM 대기열 하나를 정의하는 사용자 지정 WLM 구성 예입니다.

{
   "query_concurrency":5
}

구문

기본 WLM 구성은 대기열과 속성 하나로 이루어져 매우 간단합니다. 여기에 대기열을 추가하고, JSON 구조에 포함된 각 대기열마다 다수의 속성을 구성할 수 있습니다. 다음은 여러 속성과 함께 다수의 대기열을 구성하여 JSON 구조를 생성하는 구문입니다.

[
   {
      "ParameterName":"wlm_json_configuration", "ParameterValue":
         "[
             {
                "q1_first_property_name":"q1_first_property_value",
                "q1_second_property_name":"q1_second_property_value", 
                ...
             },
             {
                "q2_first_property_name":"q2_first_property_value",
                "q2_second_property_name":"q2_second_property_value", 
                ...
             }
             ...

         ]"
   }
]

위 예에서 q1으로 시작하는 대표 속성은 첫 번째 대기열의 배열에 속하는 객체입니다. 각 객체는 이름/값 페어입니다. 즉 name과 value 모두 첫 번째 대기열의 WLM 속성을 설정합니다. q2로 시작하는 대표 속성은 두 번째 대기열의 배열에 속하는 객체입니다. 대기열이 더 필요한 경우에는 추가되는 대기열마다 배열도 하나씩 더한 후 각 객체 속성을 설정합니다.

WLM 구성을 수정할 때는 대기열의 속성 하나만 변경하더라도 대기열 구조 전체를 입력해야 합니다. 이는 전체 JSON 구조가 wlm_json_configuration 파라미터 값처럼 하나의 문자열로 전달되기 때문입니다.

AWS CLI 명령 형식 지정

AWS CLI를 사용할 때는 wlm_json_configuration 파라미터에 특정 형식이 필요합니다. 사용하는 형식은 클라이언트 운영 체제에 따라 다릅니다. 운영 체제마다 JSON 구조를 묶는(enclose) 방법이 다르기 때문에 명령줄에서 정확히 입력해야 합니다. Linux, Mac OS X 및 Windows 운영 체제에서 명령을 알맞게 작성하는 방법에 대한 자세한 내용은 이후 단원들을 참조하십시오. 일반적으로 AWS CLI로 JSON 데이터 구조를 묶는 차이점에 대한 자세한 내용은 AWS Command Line Interface 사용 설명서의 인용 문자열을 참조하세요.

예시

다음은 example-parameter-group이라는 파라미터 그룹에 대해 수동 WLM을 구성하는 명령의 예입니다. 구성을 사용하면 단기 쿼리의 가속의 최대 실행 시간이 0으로 설정된 단기 쿼리 가속이 활성화되어 WLM에서 이 값을 동적으로 설정하도록 지시합니다. ApplyType 설정은 dynamic입니다. 즉, 다른 정적 속성 변경이 없는 한 파라미터의 동적 속성에 대한 변경 사항이 바로 적용됩니다. 구성은 다음과 같이 대기열 3개를 정의합니다.

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-parameter-group 
--parameters
'[
  {
    "query_concurrency": 4,
    "max_execution_time": 20000,
    "memory_percent_to_use": 25,
    "query_group": ["report"],
    "query_group_wild_card": 1,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto", 
    "queue_type": "manual"
  },
  {
    "query_concurrency": 5,
    "memory_percent_to_use": 40,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [
      "admin",
      "dba"
    ],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "off",
    "queue_type": "manual"    
  },
  {
    "query_concurrency": 5,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto",
    "queue_type": "manual"    
  },
  {"short_query_queue": true}
]'

다음은 자동 WLM 구성에 대해 WLM 쿼리 모니터링 규칙을 구성하는 예입니다. 다음 예에서는 example-monitoring-rules라는 로그 그룹을 생성합니다. 구성에서는 위 예와 마찬가지로 3개의 대기열을 정의합니다. 그러나 query_concurrency 및 memory_percent_to_use는 더 이상 지정되지 않습니다. 또한 구성에서는 다음과 같은 규칙 및 쿼리 우선 순위를 추가합니다.

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-monitoring-rules 
--parameters
'[ {
  "query_group" : [ "report" ],
  "query_group_wild_card" : 1,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "rules" : [{
    "rule_name": "rule_1",
    "predicate": [{
      "metric_name": "query_cpu_time",
      "operator": ">",
      "value": 1000000 },
      { "metric_name": "query_blocks_read",
      "operator": ">",
      "value": 1000
    } ],
    "action" : "log"
  } ],
   "priority": "normal",
   "queue_type": "auto"
}, {  
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ "admin", "dba" ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "off",
  "rules" : [ {
    "rule_name": "rule_2",
    "predicate": [
      {"metric_name": "query_execution_time",
      "operator": ">",
      "value": 600000000},
      {"metric_name": "scan_row_count",
      "operator": ">",
      "value": 1000000000}],
      "action": "abort"}],
   "priority": "high",
   "queue_type": "auto"

}, {
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "priority": "low",
  "queue_type": "auto",
  "auto_wlm": true
}, {
  "short_query_queue" : true
} ]'

명령줄에서 JSON 파일과 함께 AWS CLI를 사용하여 WLM 구성

AWS CLI를 사용하여 wlm_json_configuration 파라미터를 수정하고 parameters 인수 값을 JSON 파일로 전달할 수 있습니다.

aws redshift modify-cluster-parameter-group --parameter-group-name myclusterparaametergroup --parameters file://modify_pg.json 

--parameters의 인수는 modify_pg.json 파일에 저장됩니다. 파일 위치는 해당 운영 체제에 맞는 형식으로 지정됩니다. 자세한 내용은 파일에서 파라미터 로드를 참조하세요. 다음은 modify_pg.json JSON 파일의 내용 예를 보여줍니다.

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"user_group\":\"example_user_group1\",\"query_group\": \"example_query_group1\", \"query_concurrency\":7},{\"query_concurrency\":5}]"
    }
]                        

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"query_group\":[\"reports\"],\"query_group_wild_card\":0,\"query_concurrency\":4,\"max_execution_time\":20000,\"memory_percent_to_use\":25},{\"user_group\":[\"admin\",\"dba\"],\"user_group_wild_card\":1,\"query_concurrency\":5,\"memory_percent_to_use\":40},{\"query_concurrency\":5,\"memory_percent_to_use\":35},{\"short_query_queue\": true, \"max_execution_time\": 5000 }]",
        "ApplyType": "dynamic"
    }
]            

Linux 및 macOS X 운영 체제의 명령줄에서 AWS CLI를 사용하여 WLM을 구성하는 규칙

다음 규칙에 따라 파라미터가 한 줄에 있는 AWS CLI 명령을 실행합니다.

Microsoft Windows 운영 체제의 Windows PowerShell에서 AWS CLI를 사용하여 WLM을 구성하는 규칙

다음 규칙에 따라 파라미터가 한 줄에 있는 AWS CLI 명령을 실행합니다.

Windows 운영 체제에서 명령 프롬프트를 사용하여 WLM를 구성하는 규칙

다음 규칙에 따라 파라미터가 한 줄에 있는 AWS CLI 명령을 실행합니다.