Administración de la carga de trabajo

En Amazon Redshift, se utiliza administración de cargas de trabajo (WLM) para definir el número de colas de consultas que están disponibles y cómo se dirigen las consultas a esas colas para su procesamiento. WLM forma parte de la configuración de grupos de parámetros. Un clúster utiliza la configuración de WLM que se especifica en su grupo de parámetros asociados.

Cuando crea un grupo de parámetros, la configuración de WLM predeterminada contiene una cola que puede ejecutar hasta cinco consultas simultáneamente. Puede añadir colas adicionales y configurar las propiedades de WLM en cada una de ellas si desea tener más control en el procesamiento de consultas. Cada cola que añade tiene la misma configuración de WLM predeterminada hasta que configure sus propiedades.

Si añade otras colas, la última cola de la configuración será la cola predeterminada. A menos que la consulta se direccione a otra cola basada en criterios de la configuración de WLM, la consulta se procesa por la cola predeterminada. Puede especificar el modo y el nivel de simultaneidad (slots de consulta) de la cola predeterminada, pero no puede especificar grupos de usuarios ni grupos de consultas para dicha cola.

Como sucede con otros parámetros, usted no puede modificar la configuración de WLM en el grupo de parámetros predeterminado. Los clústeres asociados al grupo de parámetros predeterminado siempre utilizan la configuración de WLM predeterminada. Si desea modificar la configuración de WLM, cree un nuevo grupo de parámetros y asócielo a cualquier clúster que requiera su configuración de WLM personalizada.

Propiedades dinámicas y estáticas de WLM

Las propiedades de configuración de WLM son dinámicas o estáticas. Puede aplicar propiedades dinámicas a la base de datos sin reiniciar el clúster, pero las propiedades estáticas requieren el reinicio del clúster para que los cambios surtan efecto. Para obtener más información sobre las propiedades estáticas y dinámicas, consulte Propiedades de configuración dinámicas y estáticas de WLM.

Propiedades del parámetro de configuración de WLM

Puede configurar WLM mediante la consola de Amazon Redshift, la AWS CLI, la API de Amazon Redshift o uno de los AWS SDK. La configuración de WLM usa diversas propiedades para definir el comportamiento de la cola, como la asignación de memoria entre colas, el número de consultas que se pueden ejecutar simultáneamente en una cola, etc.

La tabla siguiente resume si una propiedad es aplicable a WLM automática o WLM manual.

En la siguiente lista se describen las propiedades de WLM que puede configurar.

Para obtener más información acerca de cada una de estas propiedades y estrategias para la configuración de colas de consultas, consulte Implementación de administración de cargas de trabajo en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Configuración del parámetro de WLM mediante AWS CLI

Para configurar WLM, modifique el parámetro wlm_json_configuration. El tamaño máximo del valor de la propiedad wlm_json_configuration es de 8000 caracteres. El valor tiene el formato de JavaScript Object Notation (JSON). Si configura WLM a través de la AWS CLI, la API de Amazon Redshift o uno de los AWS SDK, utilice el resto de esta sección para aprender a crear la estructura JSON del parámetro wlm_json_configuration.

Ejemplo

En el siguiente ejemplo se muestra la configuración de WLM predeterminada, que define una cola con la WLM automática.

{
   "auto_wlm": true
}

Ejemplo

En el siguiente ejemplo, se muestra una configuración de WLM personalizada que define una cola de WLM manual con un nivel de simultaneidad (slots de consulta) de cinco.

{
   "query_concurrency":5
}

Sintaxis

La configuración de WLM predeterminada es muy sencilla, tiene cola única y una propiedad. Puede añadir más colas y configurar varias propiedades para cada cola en la estructura JSON. La siguiente sintaxis representa la estructura JSON que se utiliza para configurar varias colas con varias propiedades:

[
   {
      "ParameterName":"wlm_json_configuration", "ParameterValue":
         "[
             {
                "q1_first_property_name":"q1_first_property_value",
                "q1_second_property_name":"q1_second_property_value", 
                ...
             },
             {
                "q2_first_property_name":"q2_first_property_value",
                "q2_second_property_name":"q2_second_property_value", 
                ...
             }
             ...

         ]"
   }
]

En el ejemplo anterior, las propiedades representativas que comienzan con q1 son objetos de una matriz de la primera cola. Cada uno de estos objetos es un par de nombre/valor. name y value establecen juntos las propiedades de WLM para la primera cola. Las propiedades representativas que comienzan con q2 son objetos de una matriz de la segunda cola. Si necesita más colas, añada otra matriz para cada cola adicional y establezca las propiedades de cada objeto.

Cuando modifica la configuración de WLM, debe incluir toda la estructura para las colas, aunque solo desee cambiar una propiedad dentro de una cola. Esto se debe a que toda la estructura JSON se transfiere en forma de cadena como el valor para el parámetro wlm_json_configuration.

Formateo del comando de AWS CLI

El parámetro wlm_json_configuration requiere un formato específico cuando utiliza la AWS CLI. El formato que utilice depende del sistema operativo del cliente. Los sistemas operativos tienen formas diferentes de delimitar la estructura JSON para que se transfiera correctamente desde la línea de comando. Para ver detalles acerca de cómo construir el comando adecuado en los sistemas operativos de Windows, Mac OS X y Linux, consulte las siguientes secciones. Para obtener más información acerca de las diferencias en la delimitación de estructuras de datos JSON en la AWS CLI en general, consulte Entrecomillado de cadenas en la Guía del usuario de AWS Command Line Interface.

Ejemplos

En el comando de ejemplo siguiente se configura WLM manual para un grupo de parámetros denominado example-parameter-group. La configuración permite la aceleración de las consultas cortas con un tiempo de ejecución máximo establecido en 0, lo que le indica a WLM que debe establecer el valor dinámicamente. El valor de ApplyType es dynamic. Esta opción significa que cualquier cambio que se realice en las propiedades dinámicas del parámetro se aplicarán de inmediato, a menos que se hayan realizado otros cambios estáticos en la configuración. La configuración define tres colas con lo siguiente:

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-parameter-group 
--parameters
'[
  {
    "query_concurrency": 4,
    "max_execution_time": 20000,
    "memory_percent_to_use": 25,
    "query_group": ["report"],
    "query_group_wild_card": 1,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto", 
    "queue_type": "manual"
  },
  {
    "query_concurrency": 5,
    "memory_percent_to_use": 40,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [
      "admin",
      "dba"
    ],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "off",
    "queue_type": "manual"    
  },
  {
    "query_concurrency": 5,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto",
    "queue_type": "manual"    
  },
  {"short_query_queue": true}
]'

A continuación se muestra un ejemplo de configuración de las reglas de monitorización de consultas de WLM para una configuración de WLM automática. El ejemplo crea un grupo de parámetros denominado example-monitoring-rules. La configuración define las tres mismas colas que las del ejemplo anterior, pero query_concurrency y memory_percent_to_use ya no se especifican. La configuración añade además las siguientes reglas y prioridades de consulta:

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-monitoring-rules 
--parameters
'[ {
  "query_group" : [ "report" ],
  "query_group_wild_card" : 1,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "rules" : [{
    "rule_name": "rule_1",
    "predicate": [{
      "metric_name": "query_cpu_time",
      "operator": ">",
      "value": 1000000 },
      { "metric_name": "query_blocks_read",
      "operator": ">",
      "value": 1000
    } ],
    "action" : "log"
  } ],
   "priority": "normal",
   "queue_type": "auto"
}, {  
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ "admin", "dba" ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "off",
  "rules" : [ {
    "rule_name": "rule_2",
    "predicate": [
      {"metric_name": "query_execution_time",
      "operator": ">",
      "value": 600000000},
      {"metric_name": "scan_row_count",
      "operator": ">",
      "value": 1000000000}],
      "action": "abort"}],
   "priority": "high",
   "queue_type": "auto"

}, {
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "priority": "low",
  "queue_type": "auto",
  "auto_wlm": true
}, {
  "short_query_queue" : true
} ]'

Configuración de WLM mediante la AWS CLI en la línea de comandos con un archivo JSON

Puede modificar el parámetro wlm_json_configuration utilizando la AWS CLI y pasarlo al valor del argumento parameters como un archivo JSON.

aws redshift modify-cluster-parameter-group --parameter-group-name myclusterparaametergroup --parameters file://modify_pg.json 

Los argumentos de --parameters se almacenan en el archivo modify_pg.json: La ubicación del archivo se especifica en el formato del sistema operativo. Para obtener más información, consulte Carga de parámetros desde un archivo. A continuación, se muestran ejemplos del contenido del archivo JSON modify_pg.json.

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"user_group\":\"example_user_group1\",\"query_group\": \"example_query_group1\", \"query_concurrency\":7},{\"query_concurrency\":5}]"
    }
]                        

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"query_group\":[\"reports\"],\"query_group_wild_card\":0,\"query_concurrency\":4,\"max_execution_time\":20000,\"memory_percent_to_use\":25},{\"user_group\":[\"admin\",\"dba\"],\"user_group_wild_card\":1,\"query_concurrency\":5,\"memory_percent_to_use\":40},{\"query_concurrency\":5,\"memory_percent_to_use\":35},{\"short_query_queue\": true, \"max_execution_time\": 5000 }]",
        "ApplyType": "dynamic"
    }
]            

Reglas para la configuración de WLM mediante la AWS CLI en la línea de comandos de los sistemas operativos Mac OS X y Linux

Siga estas reglas para ejecutar un comando de la AWS CLI con parámetros en una sola línea:

Reglas para la configuración de WLM mediante la AWS CLI en Windows PowerShell para los sistemas operativos Microsoft Windows

Siga estas reglas para ejecutar un comando de la AWS CLI con parámetros en una sola línea:

Reglas para la configuración de WLM mediante el símbolo del sistema en los sistemas operativos Windows

Siga estas reglas para ejecutar un comando de la AWS CLI con parámetros en una sola línea: