ワークロード管理

Amazon Redshift では、ワークロード管理 (WLM) を使用して、使用可能なクエリキューの数と、処理するためにクエリをそれらのキューにルーティングする方法を定義します。WLM は、パラメータグループ設定の一部です。クラスターは、関連付けられているパラメータグループで指定された WLM 設定を使用します。

パラメータグループを作成すると、デフォルトの WLM 設定には、最大 5 つのクエリを同時に実行できる 1 つのキューが含まれます。クエリの処理をさらに細かく制御する場合、キューを追加して、各キューの WLM プロパティを設定できます。追加した各キューのデフォルトの WLM 設定は、そのプロパティを設定するまで同じです。

付加的なキューを追加する場合、設定内の最後のキューがデフォルトキューになります。クエリが WLM 設定の条件に基づいて別のキューにルーティングされる場合を除いて、デフォルトキューにより処理されます。デフォルトキューのモードおよび同時実行レベル (クエリスロット) を指定できますが、デフォルトキューのユーザーグループやクエリグループを指定することはできません。

他のパラメータと同様、デフォルトパラメータグループで WLM 設定を変更することはできません。デフォルトパラメータグループに関連付けられたクラスターは、常にデフォルトの WLM 設定を使用します。WLM 設定を変更するには、新しいパラメータグループを作成してからカスタム WLM 設定を必要とするクラスターとそのパラメータグループを関連付けます。

WLM の動的プロパティと静的プロパティ

WLM 設定プロパティは動的または静的のいずれかです。動的なプロパティは、クラスターを再起動することなくデータベースに適用できますが、静的プロパティで変更を有効にするには、クラスターの再起動が必要です。静的および動的プロパティの詳細については、「WLM の動的設定プロパティと静的設定プロパティ」を参照してください。

WLM 設定パラメータのプロパティ

WLM は、Amazon Redshift コンソール、AWS CLI、Amazon Redshift API、または AWS SDK の 1 つを使用して設定できます。WLM 設定では、キュー間でのメモリ割り当て、キューで同時に実行できるクエリの数などのキューの動作を定義するいくつかのプロパティが使用されます。

次の表は、プロパティが自動 WLM または手動 WLM に適用可能かどうかをまとめたものです。

次の一覧では、設定できる WLM プロパティについて説明します。

これらのプロパティとクエリキュー設定の戦略に関する詳細については、Amazon Redshift データベースデベロッパーガイドからワークロード管理の実装を参照してください。

AWS CLI を使用した WLM パラメータの設定

WLM を設定するには、wlm_json_configuration パラメータを変更します。wlm_json_configuration プロパティ値の最大サイズは 8,000 文字です。この値は JavaScript Object Notation (JSON) でフォーマットされています。AWS CLI、Amazon Redshift API、または AWS SDK の 1 つを使用して WLM を設定する場合、このセクションの残りの部分で wlm_json_configuration パラメータの JSON 構造を構築する方法を確認してください。

例

次の例は、自動 WLM で 1 つのキューを定義するデフォルトの WLM 設定です。

{
   "auto_wlm": true
}

例

次の例は、同時実行数レベル (クエリスロット) が 5 である 1 つの手動 WLM キューを定義するカスタムの WLM 設定です。

{
   "query_concurrency":5
}

[Syntax] (構文)

デフォルトの WLM 設定は非常にシンプルで、キューが 1 つとプロパティが 1 つしかありません。JSON 構造でキューを追加し、キューごとに複数のプロパティを設定することができます。次の構文は、複数のプロパティを持つ複数のキューを設定する場合に使用する JSON 構造を表しています。

[
   {
      "ParameterName":"wlm_json_configuration", "ParameterValue":
         "[
             {
                "q1_first_property_name":"q1_first_property_value",
                "q1_second_property_name":"q1_second_property_value", 
                ...
             },
             {
                "q2_first_property_name":"q2_first_property_value",
                "q2_second_property_name":"q2_second_property_value", 
                ...
             }
             ...

         ]"
   }
]

前の例では、q1 で始まる代表的なプロパティは、最初のキューの配列にあるオブジェクトです。これらの各オブジェクトは名前と値のペアです。name と value を組み合わせて最初のキューに WLM プロパティを設定します。q2 で始まる代表的なプロパティは、2 番目のキューの配列にあるオブジェクトです。より多くのキューが必要な場合、追加の各キューに別のアレイを追加し、各オブジェクトのプロパティを設定します。

WLM の設定を変更する際は、キュー内の 1 つのプロパティだけを変更する場合であっても、キューの構造全体を含める必要があります。これは、wlm_json_configuration パラメータの値として、JSON 構造全体が文字列として渡されるためです。

AWS CLI コマンドのフォーマット

wlm_json_configuration を使用する場合、AWS CLI パラメータには特定の形式が必要です。使用する形式は、クライアントのオペレーティングシステムによって異なります。コマンドラインから正しく渡されるように JSON 構造を囲む方法は、オペレーティングシステムによってさまざまです。Linux、Mac OS X、Windows の各オペレーティングシステムで適切なコマンドを作成する方法の詳細については、以下のセクションを参照してください。一般的な AWS CLI での JSON データ構造の違いについては、AWS Command Line Interface ユーザーガイドの「Quoting strings」を参照してください。

例

以下のコマンド例では、example-parameter-group という名前のパラメータグループの手動 WLM を設定します。この設定により、ショートクエリアクセラレーションでショートクエリの最大実行時間が 0 に設定されます。これにより、値を動的に設定することを WLM に指示します。ApplyType 設定は dynamic です。この設定では、このパラメータ内の動的プロパティに対して行われたすべての変更は、設定に対して他の静的な変更が行われていない限り、速やかに適用されます。この設定では、次の 3 つのキューを定義しています。

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-parameter-group 
--parameters
'[
  {
    "query_concurrency": 4,
    "max_execution_time": 20000,
    "memory_percent_to_use": 25,
    "query_group": ["report"],
    "query_group_wild_card": 1,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto", 
    "queue_type": "manual"
  },
  {
    "query_concurrency": 5,
    "memory_percent_to_use": 40,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [
      "admin",
      "dba"
    ],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "off",
    "queue_type": "manual"    
  },
  {
    "query_concurrency": 5,
    "query_group": [],
    "query_group_wild_card": 0,
    "user_group": [],
    "user_group_wild_card": 0,
    "user_role": [],
    "user_role_wild_card": 0,
    "concurrency_scaling": "auto",
    "queue_type": "manual"    
  },
  {"short_query_queue": true}
]'

以下に、自動 WLM 設定で、WLM クエリモニタリングルールを設定する例を示します。この例では、example-monitoring-rules という名前のパラメータグループを作成します。設定で前の例と同じ 3 つのキューを定義しますが、query_concurrency および memory_percent_to_use は、指定されません。この設定では、次のルールとクエリの優先度も追加されます。

aws redshift modify-cluster-parameter-group 
--parameter-group-name example-monitoring-rules 
--parameters
'[ {
  "query_group" : [ "report" ],
  "query_group_wild_card" : 1,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "rules" : [{
    "rule_name": "rule_1",
    "predicate": [{
      "metric_name": "query_cpu_time",
      "operator": ">",
      "value": 1000000 },
      { "metric_name": "query_blocks_read",
      "operator": ">",
      "value": 1000
    } ],
    "action" : "log"
  } ],
   "priority": "normal",
   "queue_type": "auto"
}, {  
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ "admin", "dba" ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "off",
  "rules" : [ {
    "rule_name": "rule_2",
    "predicate": [
      {"metric_name": "query_execution_time",
      "operator": ">",
      "value": 600000000},
      {"metric_name": "scan_row_count",
      "operator": ">",
      "value": 1000000000}],
      "action": "abort"}],
   "priority": "high",
   "queue_type": "auto"

}, {
  "query_group" : [ ],
  "query_group_wild_card" : 0,
  "user_group" : [ ],
  "user_group_wild_card" : 0,
  "user_role": [ ],
  "user_role_wild_card": 0,
  "concurrency_scaling" : "auto",
  "priority": "low",
  "queue_type": "auto",
  "auto_wlm": true
}, {
  "short_query_queue" : true
} ]'

JSON ファイルを指定してコマンドラインで AWS CLI を使用して WLM を設定する

wlm_json_configuration を使用して AWS CLI パラメータを変更し、JSON ファイルとして parameters 引数の値で渡すことができます。

aws redshift modify-cluster-parameter-group --parameter-group-name myclusterparaametergroup --parameters file://modify_pg.json 

--parameters の引数は、modify_pg.json に保存されます。ファイルの場所は、オペレーティングシステムの形式で指定されます。詳細については、「ファイルからパラメータをロードする」を参照してください。modify_pg.json JSON ファイルの内容の例を以下に示します。

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"user_group\":\"example_user_group1\",\"query_group\": \"example_query_group1\", \"query_concurrency\":7},{\"query_concurrency\":5}]"
    }
]                        

[
    {
        "ParameterName": "wlm_json_configuration",
        "ParameterValue": "[{\"query_group\":[\"reports\"],\"query_group_wild_card\":0,\"query_concurrency\":4,\"max_execution_time\":20000,\"memory_percent_to_use\":25},{\"user_group\":[\"admin\",\"dba\"],\"user_group_wild_card\":1,\"query_concurrency\":5,\"memory_percent_to_use\":40},{\"query_concurrency\":5,\"memory_percent_to_use\":35},{\"short_query_queue\": true, \"max_execution_time\": 5000 }]",
        "ApplyType": "dynamic"
    }
]            

Linux および macOS X オペレーティングシステムのコマンドラインで AWS CLI を使用して WLM を設定する際のルール

1 行にパラメータを指定して AWS CLI コマンドを実行するには、以下のルールに従います。

Microsoft Windows オペレーティングシステムの Windows PowerShell で AWS CLI を使用して WLM を設定する際のルール

1 行にパラメータを指定して AWS CLI コマンドを実行するには、以下のルールに従います。

Windows オペレーティングシステムでコマンドプロンプトを使用して WLM を設定する際のルール

1 行にパラメータを指定して AWS CLI コマンドを実行するには、以下のルールに従います。