工作负载管理

在 Amazon Redshift 中，您可以使用工作负载管理 (WLM) 来定义可用的查询队列的数量，并定义如何将查询路由至这些队列以进行处理。WLM 是参数组配置的一部分。集群使用其关联的参数组中指定的 WLM 配置。

当您创建参数组时，默认 WLM 配置中包含一个队列，该队列最多可并发运行五个查询。如果您想要更好地控制查询处理，则可以添加更多队列并在每个队列中配置 WLM 属性。除非对其属性进行配置，否则您添加的每个队列都具有相同的默认 WLM 配置。

当您添加更多队列时，配置中的最后一个队列是默认队列。除非根据 WLM 配置中的标准将查询路由至另一个队列，否则该查询将由默认队列进行处理。您可以为默认队列指定模式和并发级别（查询槽），但不能为默认队列指定用户组或查询组。

与其他参数一样，您无法修改默认参数组中的 WLM 配置。与默认参数组相关联的集群始终使用默认的 WLM 配置。要修改 WLM 配置，请创建一个新的参数组，然后将该参数组与需要自定义 WLM 配置的所有集群相关联。

WLM 动态和静态属性

WLM 配置属性可以是动态的，也可以是静态的。您可以将动态属性应用于数据库而无需重新启动集群，但静态属性需要重新启动集群才能够使更改生效。有关静态和动态属性的更多信息，请参阅 WLM 动态和静态配置属性。

WLM 配置参数的属性

您可以使用 Amazon Redshift 控制台、AWS CLI、Amazon Redshift API 或 AWS 开发工具包之一配置 WLM。WLM 配置使用多个用于定义队列行为的属性，例如队列之间的内存分配、队列中可以并发运行的查询数量等。

下表总结属性是适用于自动 WLM 还是手动 WLM。

下面的列表说明了可以配置的 WLM 属性。

有关这些属性以及用于配置查询队列的策略的更多信息，请参阅《Amazon Redshift 数据库开发人员指南》中的实施工作负载管理。

使用 AWS CLI 配置 WLM 参数

要配置 WLM，您需要修改 wlm_json_configuration 参数。wlm_json_configuration 属性值的最大大小为 8000 个字符。相应值采用 JavaScript 对象表示法 (JSON) 格式。如果您想要使用 AWS CLI、Amazon Redshift API 或其中一个 AWS 开发工具包来配置 WLM，则可以使用此部分的其余内容来了解如何为 wlm_json_configuration 参数构建 JSON 结构。

示例

下面的示例是默认的 WLM 配置，定义了使用自动 WLM 的队列。

{
   "auto_wlm": true
}

示例

下面的示例是一个自定义 WLM 配置，它定义了一个并发级别（查询槽）为五的手动 WLM 队列。

{
   "query_concurrency":5
}

语法

默认的 WLM 配置非常简单，只有一个队列和一个属性。您可以添加更多队列并为 JSON 结构中的每个队列配置多种属性。以下语法表示您用于配置具有多种属性的多个队列的 JSON 结构：

[
   {
      "ParameterName":"wlm_json_configuration", "ParameterValue":
         "[
             {
                "q1_first_property_name":"q1_first_property_value",
                "q1_second_property_name":"q1_second_property_value", 
                ...
             },
             {
                "q2_first_property_name":"q2_first_property_value",
                "q2_second_property_name":"q2_second_property_value", 
                ...
             }
             ...

         ]"
   }
]

在上述示例中，以 q1 开头的代表性属性是第一个队列的数组中的对象。其中每个对象都是名称/值对；name 和 value 共同设置第一个队列的 WLM 属性。以 q2 开头的代表性属性是第二个队列的数组中的对象。如果您需要更多队列，则可以为每个增加的队列添加另一个数组并为每个对象设置属性。

修改 WLM 配置时，您必须涵盖队列的整个结构，即使您只是想更改队列中的一个属性也是如此。这是因为整个 JSON 结构以字符串的形式传递为 wlm_json_configuration 参数的值。

设置 AWS CLI 命令的格式

使用 AWS CLI 时，您需要为 wlm_json_configuration 参数指定具体格式。您使用的格式取决于您的客户端操作系统。操作系统可以采用不同的方式将 JSON 结构括起来，因此它可以根据命令行正确地进行传输。要详细了解如何在 Linux、Mac OS X 和 Windows 操作系统中构建相应命令，请参阅以下部分。有关封闭 AWS CLI 中的 JSON 数据结构的差异的更多信息，一般情况下，请参阅《AWS Command Line Interface 用户指南》中的引用字符串。

示例

以下示例命令为名为 example-parameter-group 的参数组配置手动 WLM。该配置可启用短查询加速，其中短查询的最大运行时间设置为 0，这指示 WLM 可动态设置该值。ApplyType 设置为 dynamic。此设置表示对参数中的动态属性做出的所有更改都将立即应用，除非同时对配置做出了其他静态更改。该配置定义下列三个队列：

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-parameter-group 
--parameters
'[
  {
    "query_concurrency": 4,
    "max_execution_time": 20000,
    "memory_percent_to_use": 25,
    "query_group": ["report"],
    "query_group_wild_card": 1,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto", 
    "queue_type": "manual"
  },
  {
    "query_concurrency": 5,
    "memory_percent_to_use": 40,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [
      "admin",
      "dba"
    ],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "off",
    "queue_type": "manual"    
  },
  {
    "query_concurrency": 5,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto",
    "queue_type": "manual"    
  },
  {"short_query_queue": true}
]'

以下是为自动 WLM 配置配置 WLM 查询监控规则的示例。该示例创建一个名为 example-monitoring-rules 的参数组。该配置定义了和上一示例相同的三个队列，但不再指定 query_concurrency 和 memory_percent_to_use。该配置还添加了以下规则和查询优先级：

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-monitoring-rules 
--parameters
'[ {
  "query_group" : [ "report" ],
  "query_group_wild_card" : 1,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "rules" : [{
    "rule_name": "rule_1",
    "predicate": [{
      "metric_name": "query_cpu_time",
      "operator": ">",
      "value": 1000000 },
      { "metric_name": "query_blocks_read",
      "operator": ">",
      "value": 1000
    } ],
    "action" : "log"
  } ],
   "priority": "normal",
   "queue_type": "auto"
}, {  
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ "admin", "dba" ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "off",
  "rules" : [ {
    "rule_name": "rule_2",
    "predicate": [
      {"metric_name": "query_execution_time",
      "operator": ">",
      "value": 600000000},
      {"metric_name": "scan_row_count",
      "operator": ">",
      "value": 1000000000}],
      "action": "abort"}],
   "priority": "high",
   "queue_type": "auto"

}, {
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "priority": "low",
  "queue_type": "auto",
  "auto_wlm": true
}, {
  "short_query_queue" : true
} ]'

在命令行中使用 AWS CLI 和 JSON 文件以配置 WLM

您可以使用 AWS CLI 修改 wlm_json_configuration 参数，并将 parameters 参数值作为 JSON 文件传递。

aws redshift modify-cluster-parameter-group --parameter-group-name myclusterparaametergroup --parameters file://modify_pg.json 

--parameters 的参数存储在 modify_pg.json 文件中。文件位置是使用操作系统格式指定的。有关更多信息，请参阅从文件中加载参数。下面显示了 modify_pg.json JSON 文件的内容示例。

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"user_group\":\"example_user_group1\",\"query_group\": \"example_query_group1\", \"query_concurrency\":7},{\"query_concurrency\":5}]"
    }
]                        

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"query_group\":[\"reports\"],\"query_group_wild_card\":0,\"query_concurrency\":4,\"max_execution_time\":20000,\"memory_percent_to_use\":25},{\"user_group\":[\"admin\",\"dba\"],\"user_group_wild_card\":1,\"query_concurrency\":5,\"memory_percent_to_use\":40},{\"query_concurrency\":5,\"memory_percent_to_use\":35},{\"short_query_queue\": true, \"max_execution_time\": 5000 }]",
        "ApplyType": "dynamic"
    }
]            

在 Linux 和 macOS X 操作系统上的命令行中使用 AWS CLI 配置 WLM 的规则

请按照以下规则在一行中使用参数运行 AWS CLI 命令：

在 Microsoft Windows 操作系统上的 Windows PowerShell 中使用 AWS CLI 配置 WLM 的规则

请按照以下规则在一行中使用参数运行 AWS CLI 命令：

在 Windows 操作系统上使用命令提示符配置 WLM 的规则

请按照以下规则在一行中使用参数运行 AWS CLI 命令：