Gerenciamento do workload

No Amazon Redshift, você usa o gerenciamento de workload (WLM) para definir o número de filas de consulta que estão disponíveis e como as consultas são roteadas para essas filas para processamento. O WLM faz parte da configuração do parameter group. Um cluster usar a configuração do WLM especificada no parameter group associado.

Quando você cria um parameter group, a configuração do WLM padrão contém uma fila capaz de executar até cinco consultas simultaneamente. Você poderá adicionar filas e configurar propriedades do WLM em cada uma delas, se quiser mais controle sobre o processamento de consultas. Cada fila adicionada terá a mesma configuração do WLM padrão até você configurar as propriedades.

Quando você adiciona filas, a última fila na configuração é a fila padrão. A menos que seja roteada para outra fila com base em critérios na configuração do WLM, uma consulta é processada pela fila padrão. É possível especificar o modo e o nível de simultaneidade (slots de consulta) da fila padrão, mas não é possível especificar grupos de usuários ou de consultas para a fila padrão.

Assim como acontece com outros parâmetros, você não pode modificar a configuração do WLM no parameter group padrão. Os clusters associados ao parameter group padrão sempre usam a configuração do WLM padrão. Para modificar a configuração do WLM, crie um novo grupo de parâmetros e associe esse grupo de parâmetros a todos os clusters que exigirem a configuração do WLM personalizada.

Propriedades dinâmicas e estáticas do WLM

As propriedades de configuração do WLM são dinâmicas ou estáticas. É possível aplicar propriedades dinâmicas ao banco de dados sem uma reinicialização do cluster, mas as propriedades estáticas exigem uma reinicialização do cluster para que as alterações entrem em vigor. Para obter mais informações sobre propriedades dinâmicas e estáticas, consulte Propriedades de configuração dinâmicas e estáticas do WLM.

Propriedades referentes ao parâmetro de configuração do WLM

É possível configurar o WLM usando o console do Amazon Redshift, a AWS CLI, a API do Amazon Redshift ou uma das AWS SDKs. A configuração do WLM usa várias propriedades para definir o comportamento da fila, como alocação da memória entre as filas, o número de consultas que podem ser executadas simultaneamente em uma fila etc.

A tabela a seguir resume se uma propriedade se aplica ao WLM automático ou WLM manual.

A lista a seguir descreve as propriedades do WLM que você pode configurar.

Para obter mais informações sobre cada uma dessas propriedades e estratégias para configurar filas de consulta, consulte Implementar gerenciamento de workload no Guia do desenvolvedor de banco de dados do Amazon Redshift.

Configurar o parâmetro do WLM usando a AWS CLI

Para configurar o WLM, você modifica o parâmetro wlm_json_configuration. O tamanho máximo do valor da propriedade wlm_json_configuration é de 8.000 caracteres. O valor é formatado em JSON (JavaScript Object Notation). Se você configurar o WLM usando a AWS CLI, a API do Amazon Redshift ou um dos AWS SDKs, use o restante desta seção para saber como construir a estrutura JSON do parâmetro wlm_json_configuration.

Exemplo

O exemplo a seguir é a configuração do WLM padrão, que define uma fila com WLM automático.

{
   "auto_wlm": true
}

Exemplo

O exemplo a seguir é uma configuração do WLM personalizada que define uma fila do WLM com um nível de simultaneidade (slots de consulta) de cinco.

{
   "query_concurrency":5
}

Sintaxe

A configuração do WLM padrão é muito simples, somente com uma fila e uma propriedade. Você pode adicionar mais filas e configurar várias propriedades para cada fila na estrutura JSON. A seguinte sintaxe representa a estrutura JSON que você usa para configurar várias filas com várias propriedades:

[
   {
      "ParameterName":"wlm_json_configuration", "ParameterValue":
         "[
             {
                "q1_first_property_name":"q1_first_property_value",
                "q1_second_property_name":"q1_second_property_value", 
                ...
             },
             {
                "q2_first_property_name":"q2_first_property_value",
                "q2_second_property_name":"q2_second_property_value", 
                ...
             }
             ...

         ]"
   }
]

No exemplo anterior, as propriedades representativas que começam com q1 são objetos em uma matriz da primeira fila. Cada um desses objetos é um par de nome/valor; name e value definem juntos as propriedades do WLM da primeira fila. As propriedades representativas que começam com q2 são objetos em uma matriz da segunda fila. Se precisar de mais filas, você adicionará outra matriz para cada fila e definirá as propriedades de cada objeto.

Ao modificar a configuração do WLM, você deve incluir na estrutura completa das filas, mesmo se quiser alterar somente uma propriedade dentro de uma fila. Isso porque toda a estrutura JSON é passada como uma string do valor do parâmetro wlm_json_configuration.

Formatar o comando da AWS CLI

O parâmetro wlm_json_configuration exige um formato específico quando você usa a AWS CLI. O formato usado por você depende do sistema operacional do cliente. Como os sistemas operacionais têm maneiras diferentes de envolver a estrutura JSON, ela é passada corretamente pela linha de comando. Para obter detalhes sobre como construir o comando apropriado nos sistemas operacionais Linux, Mac OS X e Windows, consulte as seções a seguir. Para obter mais informações sobre as diferenças nas estruturas de dados JSON na AWS CLI em geral, consulte Citando strings no Manual do usuário do AWS Command Line Interface.

Exemplos

O exemplo de comando a seguir configura o WLM manual para um grupo de parâmetros chamado example-parameter-group. A configuração permite a aceleração de consulta breve com um tempo máximo de execução para consultas breves definido como 0, o que instrui o WLM a definir o valor de forma dinâmica. A configuração de ApplyType é dynamic. Essa configuração significa que todas as alterações feitas em propriedades dinâmicas no parâmetro serão aplicadas automaticamente, a menos que outras alterações estáticas tenham sido feitas na configuração. A configuração define três filas com o seguinte:

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-parameter-group 
--parameters
'[
  {
    "query_concurrency": 4,
    "max_execution_time": 20000,
    "memory_percent_to_use": 25,
    "query_group": ["report"],
    "query_group_wild_card": 1,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto", 
    "queue_type": "manual"
  },
  {
    "query_concurrency": 5,
    "memory_percent_to_use": 40,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [
      "admin",
      "dba"
    ],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "off",
    "queue_type": "manual"    
  },
  {
    "query_concurrency": 5,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto",
    "queue_type": "manual"    
  },
  {"short_query_queue": true}
]'

Veja a seguir um exemplo de como configurar regras de monitoramento de consultas do WLM para uma configuração de WLM automático. O exemplo cria um parameter group chamado example-monitoring-rules. A configuração define as mesmas três filas do exemplo anterior, mas query_concurrency e memory_percent_to_use não são mais especificadas. A configuração também adiciona as seguintes regras e prioridades de consulta:

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-monitoring-rules 
--parameters
'[ {
  "query_group" : [ "report" ],
  "query_group_wild_card" : 1,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "rules" : [{
    "rule_name": "rule_1",
    "predicate": [{
      "metric_name": "query_cpu_time",
      "operator": ">",
      "value": 1000000 },
      { "metric_name": "query_blocks_read",
      "operator": ">",
      "value": 1000
    } ],
    "action" : "log"
  } ],
   "priority": "normal",
   "queue_type": "auto"
}, {  
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ "admin", "dba" ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "off",
  "rules" : [ {
    "rule_name": "rule_2",
    "predicate": [
      {"metric_name": "query_execution_time",
      "operator": ">",
      "value": 600000000},
      {"metric_name": "scan_row_count",
      "operator": ">",
      "value": 1000000000}],
      "action": "abort"}],
   "priority": "high",
   "queue_type": "auto"

}, {
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "priority": "low",
  "queue_type": "auto",
  "auto_wlm": true
}, {
  "short_query_queue" : true
} ]'

Configurar o WLM usando a AWS CLI na linha de comando com um arquivo JSON

É possível modificar o parâmetro wlm_json_configuration usando a AWS CLI e transmitir o valor do argumento parameters como um arquivo JSON.

aws redshift modify-cluster-parameter-group --parameter-group-name myclusterparaametergroup --parameters file://modify_pg.json 

Os argumentos para --parameters são armazenados no arquivo modify_pg.json. A localização do arquivo é especificada no formato do seu sistema operacional. Para obter mais informações, consulte Carregar parâmetros de um arquivo. A seguir são exibidos exemplos do conteúdo do arquivo JSON modify_pg.json.

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"user_group\":\"example_user_group1\",\"query_group\": \"example_query_group1\", \"query_concurrency\":7},{\"query_concurrency\":5}]"
    }
]                        

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"query_group\":[\"reports\"],\"query_group_wild_card\":0,\"query_concurrency\":4,\"max_execution_time\":20000,\"memory_percent_to_use\":25},{\"user_group\":[\"admin\",\"dba\"],\"user_group_wild_card\":1,\"query_concurrency\":5,\"memory_percent_to_use\":40},{\"query_concurrency\":5,\"memory_percent_to_use\":35},{\"short_query_queue\": true, \"max_execution_time\": 5000 }]",
        "ApplyType": "dynamic"
    }
]            

Regras para configurar o WLM usando a AWS CLI na linha de comando nos sistemas operacionais Linux e macOS X

Siga estas regras para executar um comando da AWS CLI com parâmetros em uma linha:

Regras para configurar o WLM usando a AWS CLI no Windows PowerShell em sistemas operacionais Microsoft Windows

Siga estas regras para executar um comando da AWS CLI com parâmetros em uma linha:

Regras para configurar o WLM usando o prompt de comando em sistemas operacionais Windows

Siga estas regras para executar um comando da AWS CLI com parâmetros em uma linha: