Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Workload-Management
Sie können Amazon Redshift so konfigurierenWLM, dass es entweder automatisch WLM oder manuell WLM ausgeführt wird.
Mit Amazon Redshift können Sie gleichzeitige Abfragen und Benutzerarbeitslasten verwalten und priorisieren, um Leistung und Ressourcennutzung zu optimieren. Mit Workload Management (WLM) können Sie Warteschlangen, Benutzergruppen und andere Konstrukte definieren, um die Ressourcen zu kontrollieren, die verschiedenen Arten von Abfragen oder Benutzern zugewiesen sind.
In den folgenden Abschnitten werden die spezifischen Workload-Management-Funktionen in Amazon Redshift beschrieben und Sie werden durch deren Konfiguration und Überwachung geführt.
Automatisch WLM
Um den Systemdurchsatz zu maximieren und Ressourcen effektiv zu nutzen, können Sie Amazon Redshift aktivieren, um zu verwalten, wie Ressourcen aufgeteilt werden, um gleichzeitige Abfragen automatisch auszuführen. WLM Automatisch WLM verwaltet die Ressourcen, die für die Ausführung von Abfragen erforderlich sind. Amazon Redshift legt fest, wie viele Abfragen gleichzeitig ausgeführt werden und wie viel Arbeitsspeicher den einzelnen verteilten Abfragen zugewiesen wird. Verwenden Sie AutoWLM, wenn Amazon Redshift verwalten soll, wie Ressourcen aufgeteilt werden, um gleichzeitige Abfragen auszuführen. Weitere Informationen finden Sie unter Automatisch implementieren WLM.
Wenn Sie mit Parallelitätsskalierung und Automatik arbeitenWLM, können Sie praktisch unbegrenzt viele gleichzeitige Benutzer und Abfragen bei gleichbleibend schneller Abfrageleistung unterstützen. Weitere Informationen finden Sie unter Nebenläufigkeitsskalierung.
Anmerkung
In den meisten Fällen empfehlen wir, automatisch zu verwenden. WLM Wenn Sie manuell verwenden WLM und von automatisch auf automatisch umsteigen möchtenWLM, finden Sie weitere Informationen unterMigration von manuell zu automatisch WLM WLM.
Mit Auto ist es möglichWLM, Abfrageprioritäten für Workloads in einer Warteschlange zu definieren. Weitere Informationen zur Abfragepriorität finden Sie unter Abfragepriorität.
Manuell WLM
Möglicherweise haben Sie mehrere Sitzungen oder Benutzer, die Abfragen gleichzeitig ausführen. Einige Abfragen beanspruchen möglicherweise Clusterressourcen für lange Zeiträume und beeinträchtigen die Leistung anderer. Das Handbuch WLM kann für spezielle Anwendungsfälle dabei helfen, dies zu verwalten. Verwenden Sie ManuellWLM, wenn Sie mehr Kontrolle über die Parallelität haben möchten.
Sie können die Systemleistung verwalten, indem Sie Ihre WLM Konfiguration so ändern, dass separate Warteschlangen für Abfragen mit langer Laufzeit und Abfragen mit kurzer Laufzeit erstellt werden. Während der Laufzeit können Sie Abfragen nach Benutzer- oder Abfragegruppe an diese Warteschlangen leiten.
Sie können Regeln einrichten, um Abfragen auf der Grundlage des jeweiligen Benutzers oder von Ihnen angegebener Beschriftungen an bestimmte Warteschlangen weiterzuleiten. Sie können auch festlegen, wie viel Speicher jeder Warteschlange zugewiesen wird, so dass große Abfragen in Warteschlangen mit mehr Speicher als bei anderen Warteschlangen ausgeführt werden. Sie können auch eine Regel zur Abfrageüberwachung (QMR) konfigurieren, um Abfragen mit langer Laufzeit einzuschränken. Weitere Informationen finden Sie unter Implementierungshandbuch WLM.
Anmerkung
Wir empfehlen, Ihre manuellen WLM Abfragewarteschlangen mit insgesamt 15 oder weniger Abfrageslots zu konfigurieren. Weitere Informationen finden Sie unter Nebenläufigkeitsstufe.
Beachten Sie, dass bei einer manuellen WLM Konfiguration die maximale Anzahl von Steckplätzen, die Sie einer Warteschlange zuweisen können, 50 beträgt. Dies bedeutet jedoch nicht, dass ein Amazon Redshift Redshift-Cluster in einer automatischen WLM Konfiguration immer 50 Abfragen gleichzeitig ausführt. Dies kann sich je nach Speicherbedarf oder anderen Arten von Ressourcenzuweisungen im Cluster ändern.
Themen
- Modus wechseln WLM
- Änderung der Konfiguration WLM
- Automatisch implementieren WLM
- Implementierungshandbuch WLM
- Nebenläufigkeitsskalierung
- Short Query Acceleration
- WLMRegeln für die Warteschlangenzuweisung
- Zuweisen von Abfragen zu Warteschlangen
- WLMdynamische und statische Konfigurationseigenschaften
- WLMRegeln für die Abfrageüberwachung
- WLMSystemtabellen und Ansichten
Modus wechseln WLM
Sie können die automatische oder manuelle Aktivierung WLM über die Amazon Redshift Redshift-Konsole vornehmen:
Wählen Sie den WLMSwitch-Modus.
Um ihn auf „Automatisch“ einzustellenWLM, wählen Sie „Automatisch WLM“. Bei Wahl dieser Option werden bis zu acht Warteschlangen für die Verwaltung von Abfragen verwendet. Die Felder Memory (Arbeitsspeicher) und Concurrency on main (Nebenläufigkeit für Haupt) werden dabei auf Auto (Automatisch) festgelegt. Darüber hinaus ist die Standardpriorität von Abfragen auf Normal festgelegt.
-
Um die manuelle Konfiguration mit der Amazon Redshift Redshift-Konsole zu aktivieren, wechseln Sie zu Manuell WLM. Bei dieser Option bestimmen Sie die Warteschlangen, die für die Abfrageverwaltung verwendet werden, sowie die Werte für die Felder Memory (Arbeitsspeicher) und Concurrency on main (Nebenläufigkeit für Haupt). Anhand einer manuellen Konfiguration können Sie bis zu acht Abfragewarteschlangen konfigurieren und die Zahl der in diesen Warteschlangen gleichzeitig möglichen Abfragen einstellen.
Änderung der Konfiguration WLM
Die WLM Konfiguration lässt sich am einfachsten über die Amazon Redshift Redshift-Konsole ändern. Sie können auch Amazon Redshift AWS CLI oder Amazon Redshift API verwenden.
Wenn Sie Ihren Cluster zwischen automatisch und manuell umschaltenWLM, wird Ihr Cluster in den pending reboot
Status versetzt. Diese Änderung wird erst nach dem nächsten Neustart des Clusters wirksam.
Ausführliche Informationen zum Ändern von WLM Konfigurationen finden Sie unter Configuring Workload Management im Amazon Redshift Management Guide.
Migration von manuell zu automatisch WLM WLM
Um den Systemdurchsatz zu maximieren und Ressourcen so effektiv wie möglich zu nutzen, empfehlen wir Ihnen, die automatische Konfiguration WLM für Ihre Warteschlangen einzurichten. Ziehen Sie den folgenden Ansatz in Betracht, um einen reibungslosen Übergang von manuell WLM zu automatisch WLM einzurichten.
Um von manuell WLM zu automatisch zu migrieren WLM und Abfrageprioritäten zu verwenden, empfehlen wir, dass Sie eine neue Parametergruppe erstellen und diese Parametergruppe dann Ihrem Cluster zuordnen. Weitere Informationen finden Sie unter Amazon Redshift Parameter Groups (Amazon-Redshift-Parametergruppen) im Amazon-Redshift-Verwaltungshandbuch.
Wichtig
Um die Parametergruppe zu ändern oder von manuell zu automatisch zu wechseln, WLM ist ein Neustart des Clusters erforderlich. Weitere Informationen finden Sie unter WLMdynamische und statische Konfigurationseigenschaften.
Nehmen wir ein Beispiel, bei dem es drei manuelle WLM Warteschlangen gibt. Jeweils eine für einen ETL Workload, einen Analytics-Workload und einen Data-Science-Workload. Der ETL Workload wird alle 6 Stunden ausgeführt, der Analytics-Workload läuft den ganzen Tag über, und der Datenwissenschafts-Workload kann jederzeit ansteigen. Bei der manuellen WLM Methode geben Sie den Arbeitsspeicher und die Parallelität an, die jeder Workload-Warteschlange zugewiesen werden sollen, je nachdem, wie wichtig die einzelnen Workloads für das Unternehmen sind. Die Festlegung von Arbeitsspeicher und Nebenläufigkeit ist nicht nur schwierig, sondern führt auch zu einer statischen Partitionierung der Cluster-Ressourcen und damit zu Verschwendung, wenn nur ein Teilsatz der Workloads ausgeführt wird.
Sie können die Option Automatisch WLM mit Abfrageprioritäten verwenden, um die relativen Prioritäten der Workloads anzugeben und so die oben genannten Probleme zu vermeiden. Für dieses Beispiel führen Sie die folgenden Schritte aus:
Erstellen Sie eine neue Parametergruppe und wechseln Sie in den WLMAutomatikmodus.
Fügen Sie Warteschlangen für jede der drei Workloads hinzu: ETL Workload, Analytics-Workload und Data-Science-Workload. Verwenden Sie für jeden Workload, der im manuellen WLM Modus verwendet wurde, dieselben Benutzergruppen.
Legen Sie die Priorität für den ETL Workload auf
High
, den Analytics-Workload aufNormal
und die Datenwissenschaft auf festLow
. Diese Prioritäten geben die geschäftlichen Prioritäten für die verschiedenen Workloads oder Benutzergruppen wieder.Aktivieren Sie optional die Parallelitätsskalierung für die Analyse- oder Data-Science-Warteschlange, sodass Abfragen in diesen Warteschlangen auch dann eine konsistente Leistung erzielen, wenn der ETL Workload alle 6 Stunden ausgeführt wird.
Wenn Sie Abfrageprioritäten verwenden und nur der Analytics-Workload für das Cluster ausgeführt wird, kann er das gesamte System nutzen. Dies führt zu einem hohen Durchsatz bei besserer Systemauslastung. Wenn der ETL Workload jedoch gestartet wird, wird ihm der Weg frei gemacht, da er eine höhere Priorität hat. Abfragen, die als Teil des ETL Workloads ausgeführt werden, erhalten bei der Zulassung Priorität, zusätzlich zu der bevorzugten Ressourcenzuweisung, nachdem sie zugelassen wurden. Das hat zur Folge, dass der ETL Workload vorhersehbar ausgeführt wird, unabhängig davon, was sonst noch auf dem System ausgeführt wird. Die planbare Leistung eines Workloads mit hoher Priorität geht zu Lasten anderer Workloads mit niedrigerer Priorität. Diese benötigen eine längere Zeit für die Ausführung, da ihre Abfragen warten müssen, bis wichtigere Abfragen abgeschlossen sind. Ein anderer Grund für die längere Ausführungszeit besteht darin, dass sie einen kleineren Anteil an den Ressourcen erhalten, wenn sie gleichzeitig mit Abfragen höherer Priorität ausgeführt werden. Die von Amazon Redshift verwendeten Planungsalgorithmen sorgen dafür, dass Abfragen mit niedrigerer Priorität nicht angehalten werden, sondern weiter ausgeführt werden, wenn auch langsamer.
Anmerkung
Das Timeout-Feld ist nicht automatisch verfügbar. WLM Verwenden Sie stattdessen die QMR Regel,
query_execution_time
. Weitere Informationen finden Sie unter WLMRegeln für die Abfrageüberwachung.Die QMR Aktion,HOP, gilt nicht für automatischWLM. Sie müssen stattdessen die Aktion
change priority
verwenden. Weitere Informationen finden Sie unter WLMRegeln für die Abfrageüberwachung.Cluster verwenden automatische WLM und manuelle WLM Warteschlangen unterschiedlich, was zu Verwechslungen mit Ihren Konfigurationen führen kann. Beispielsweise können Sie die Prioritätseigenschaft in automatischen WLM Warteschlangen konfigurieren, nicht jedoch in manuellen WLM Warteschlangen. Vermeiden Sie daher, automatische WLM Warteschlangen und manuelle WLM Warteschlangen innerhalb einer Parametergruppe zu vermischen. Erstellen Sie stattdessen bei der Migration zur automatischen Parametergruppe eine neue Parametergruppe. WLM