Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Nebenläufigkeitsskalierung
Mittels der Funktion für Nebenläufigkeitsskalierung können Sie Tausende gleichzeitige Benutzer und Abfragen bei einer konsistent schnellen Abfrageleistung unterstützen. Wenn Sie Nebenläufigkeitsskalierung aktivieren, fügt Amazon Redshift automatisch zusätzliche Cluster-Kapazität hinzu, um einen Anstieg von Lese- und Schreibabfragen zu verarbeiten. Benutzern werden stets die jeweils aktuellen Daten angezeigt, unabhängig davon, ob die Abfragen auf dem Haupt- oder einem Nebenläufigkeitsskalierungs-Cluster ausgeführt werden.
Sie können verwalten, welche Abfragen an den Concurrency-Scaling-Cluster gesendet werden, indem Sie Warteschlangen konfigurieren. WLM Wenn die Nebenläufigkeitsskalierung aktiviert ist, werden entsprechend qualifizierte Abfragen an das Nebenläufigkeitsskalierungs-Cluster übermittelt, anstatt in einer Warteschlange zu warten.
Die Nebenläufigkeitsskalierungs-Cluster werden Ihnen nur für die Zeit, in der sie aktiv Abfragen ausführen, in Rechnung gestellt. Weitere Informationen zu den Preisen, einschließlich anfallender Gebühren und Mindestgebühren, finden Sie unter Preise für die Skalierung von Parallelität
Themen
- Nebenläufigkeitsskalierungsfunktionen
- Einschränkungen bei der Nebenläufigkeitsskalierung
- AWS-Regionen für die Parallelitätsskalierung
- Kandidaten für die Nebenläufigkeitsskalierung
- Konfigurieren von Nebenläufigkeitsskalierungswarteschlangen
- Überwachen der Nebenläufigkeitsskalierung
- Systemansichten der Nebenläufigkeitsskalierung
Nebenläufigkeitsskalierungsfunktionen
Wenn Sie die Parallelitätsskalierung für eine WLM Warteschlange aktivieren, funktioniert sie auch für Lesevorgänge wie Dashboard-Abfragen. Sie kann auch für häufig verwendete Schreibvorgänge eingesetzt werden, wie zum Beispiel Anweisungen für die Datenaufnahme und -verarbeitung.
Nebenläufigkeitsskalierungsfunktionen für Schreibvorgänge
Die Parallelitätsskalierung unterstützt häufig verwendete Schreiboperationen wie Extraktions-, Transformations- und Load (ETL) -Anweisungen. Die Nebenläufigkeitsskalierung für Schreibvorgänge ist besonders nützlich, wenn Sie konsistente Reaktionszeiten erreichen möchten, wenn Ihr Cluster eine große Anzahl von Anforderungen empfängt. Sie verbessert den Durchsatz für Schreibvorgänge, die dieselben Ressourcen im Haupt-Cluster benötigen.
Die Parallelitätsskalierung unterstützt die INSERT Anweisungen COPYDELETE,UPDATE,, und CREATE TABLE AS (CTAS). Darüber hinaus unterstützt die Parallelitätsskalierung die Aktualisierung von Materialized-Views, für MVs die keine Aggregationen verwendet werden. Andere Anweisungen in der Datenmanipulationssprache (DML) und Datendefinitionssprache () werden nicht unterstützt. DDL Wenn nicht unterstützte Schreibanweisungen, z. B. CREATE ohne TABLE AS, in einer expliziten Transaktion vor den unterstützten Write-Anweisungen enthalten sind, wird keine der Write-Anweisungen auf Clustern mit Parallelitätsskalierung ausgeführt.
Wenn Sie Guthaben für die Nebenläufigkeitsskalierung angesammelt haben, gilt das Guthaben sowohl für Schreib- als auch Lesevorgänge.
Einschränkungen bei der Nebenläufigkeitsskalierung
Bei der Verwendung der Nebenläufigkeitsskalierung in Amazon Redshift gelten folgende Einschränkungen:
-
Sie unterstützt keine Abfragen für Tabellen, die überlappende Sortierschlüssel verwenden.
-
Sie unterstützt keine Abfragen für temporäre Tabellen.
-
Abfragen, die auf externe Ressourcen zugreifen, die durch restriktive Netzwerk- oder Virtual Private Cloud () -Konfigurationen geschützt sind, werden nicht unterstützt. VPC
-
Es unterstützt keine Abfragen, die benutzerdefinierte Python-Funktionen (UDFs) und UDFs Lambda enthalten.
-
Abfragen, die auf Systemtabellen, SQL Postgre-Katalogtabellen oder Tabellen ohne Backup-Tabellen zugreifen, werden nicht unterstützt.
-
Es unterstützt COPY keine UNLOAD Abfragen, die auf eine externe Ressource zugreifen, wenn restriktive IAM Richtlinienberechtigungen vorhanden sind. Dazu gehören Berechtigungen, die entweder auf die Ressource, wie einen Amazon S3 S3-Bucket oder eine DynamoDB-Tabelle, oder auf die Quelle angewendet werden. IAMZu den Quellen können Folgendes gehören:
aws:sourceVpc
— Eine QuelleVPC.aws:sourceVpce
— Ein VPC Quellendpunkt.aws:sourceIp
— Eine Quell-IP-Adresse.
In einigen Fällen müssen Sie möglicherweise Berechtigungen entfernen, die entweder die Ressource oder die Quelle einschränken, sodass UNLOAD Abfragen, die auf die COPY Ressource zugreifen, an den Concurrency-Scaling-Cluster gesendet werden.
Weitere Informationen zu Ressourcenrichtlinien finden Sie unter Richtlinientypen im AWS Identity and Access Management Benutzerhandbuch und Steuern des Zugriffs von VPC Endpunkten aus mit Bucket-Richtlinien.
-
Die Parallelitätsskalierung von Amazon Redshift für Schreibvorgänge wird für DDL Operationen wie CREATE TABLE oder nicht unterstützt. ALTER TABLE
-
Der Befehl wird nicht unterstütztANALYZE. COPY
-
Es unterstützt keine Schreiboperationen in einer Zieltabelle, für die der Wert auf gesetzt DISTSTYLE istALL.
-
Die folgenden Dateiformate werden nicht unterstütztCOPY:
Parquet
ORC
-
Sie unterstützt keine Schreibvorgänge für Tabellen mit Identitätsspalten.
-
Amazon Redshift unterstützt die Parallelitätsskalierung für Schreibvorgänge nur auf Amazon Redshift RA3 Redshift-Knoten. Die Nebenläufigkeitsskalierung für Schreibvorgänge wird auf anderen Knotentypen nicht unterstützt.
AWS-Regionen für die Parallelitätsskalierung
Mit Amazon Redshift können Sie die Parallelitätsskalierung verwenden, um gleichzeitige Workload-Anforderungen über Redshift-Cluster hinweg zu verwalten. In diesem Thema wird beschrieben, in welchen Regionen Sie die Parallelitätsskalierung mit Amazon Redshift verwenden können.
Die Parallelitätsskalierung ist in diesen Regionen verfügbar: AWS
-
Region USA Ost (Nord-Virginia) (us-east-1)
-
Region USA Ost (Ohio) (us-east-2)
-
Region USA West (Nordkalifornien) (us-west-1)
-
Region USA West (Oregon) (us-west-2)
-
Region Asien-Pazifik (Mumbai) (ap-south-1)
-
Region Asien-Pazifik (Seoul) (ap-northeast-2)
-
Region Asien-Pazifik (Singapur) (ap-southeast-1)
-
Region Asien-Pazifik (Sydney) (ap-southeast-2)
-
Region Asien-Pazifik (Tokio) (ap-northeast-1)
-
Region Kanada (Zentral) (ca-central-1)
-
Region China (Peking) (cn-north-1)
-
Region China (Ningxia) (cn-northwest-1)
-
Region Europa (Frankfurt) (eu-central-1)
-
Region Europa (Irland) (eu-west-1)
-
Region Europa (London) (eu-west-2)
-
Region Europa (Paris) (eu-west-3)
-
Region Europa (Stockholm) (eu-north-1)
-
Region Europa (Zürich) (eu-central-2)
-
Region Europa (Spanien) (eu-south-2)
-
Region Südamerika (São Paulo) (sa-east-1)
-
AWS GovCloud (US-Ost)
Kandidaten für die Nebenläufigkeitsskalierung
Mit Amazon Redshift können Sie die Abfrageverarbeitung skalieren, um die Ausführung gleichzeitiger Abfragen zu beschleunigen. Im folgenden Thema werden die Kriterien beschrieben, anhand derer Amazon Redshift bestimmt, welche Abfragen an die Parallelitätsskalierung weitergeleitet werden sollen.
Abfragen werden nur an den Nebenläufigkeitsskalierungs-Cluster weitergeleitet, wenn der Haupt-Cluster die folgenden Voraussetzungen erfüllt:
-
EC2- PlattformVPC.
-
Der Knotentyp muss dc2.8xlarge, dc2.large, ra3.large, ra3.xlplus, ra3.4xlarge oder ra3.16xlarge sein. Die Parallelitätsskalierung für Schreibvorgänge wird nur auf Amazon Redshift RA3 Redshift-Knoten unterstützt.
-
Maximal 32 Rechenknoten für Cluster mit den Knotentypen ra3.xlplus, ra3.4xlarge oder ra3.16xlarge. Darüber hinaus kann die Anzahl der Knoten des Haupt-Clusters nicht größer als 32 Knoten sein, als der Cluster ursprünglich erstellt wurde. Selbst wenn ein Cluster derzeit über 20 Knoten verfügt, aber ursprünglich mit 40 erstellt wurde, erfüllt er nicht die Anforderungen für die Parallelitätsskalierung. Umgekehrt erfüllt ein DC2 Cluster, wenn er derzeit 40 Knoten hat, ursprünglich aber mit 20 erstellt wurde, die Anforderungen für die Parallelitätsskalierung.
-
Kein Einzelknoten-Cluster.
Konfigurieren von Nebenläufigkeitsskalierungswarteschlangen
Mit Amazon Redshift können Sie Parallelität und Systemressourcen verwalten, indem Sie die Parallelitätsskalierung konfigurieren. Warteschlangen zur Parallelitätsskalierung ermöglichen es Ihnen, die Anzahl der Abfragen oder Benutzersitzungen, die gleichzeitig ausgeführt werden können, zu begrenzen. Der folgende Abschnitt enthält Anweisungen zur Aktivierung von Warteschlangen zur Parallelitätsskalierung in Amazon Redshift, sodass Sie gleichzeitige Abfragen und Benutzersitzungen effektiv verarbeiten können.
Sie leiten Abfragen an Cluster zur Parallelitätsskalierung weiter, indem Sie die Parallelitätsskalierung in einer Workload-Manager-Warteschlange () aktivieren. WLM Zur Aktivierung der Nebenläufigkeitsskalierung für eine Warteschlange legen Sie für den Wert für Concurrency Scaling mode (Nebenläufigkeitsskalierungsmodus) auf auto (automatisch) fest.
Wenn die Anzahl der Abfragen, die an eine Warteschlange mit aktivierter Parallelitätsskalierung weitergeleitet werden, die Parallelitätskapazität der Warteschlange überschreitet, unabhängig davon, ob die Kapazität manuell konfiguriert oder automatisch bestimmt wird, werden geeignete Abfragen an den Parallelitätsskalierungscluster gesendet. Wenn Warteschlangenplätze auf dem Hauptcluster verfügbar werden, werden Abfragen an den Hauptcluster weitergeleitet und dort ausgeführt. Wie bei jeder WLM Warteschlange leiten Sie Abfragen auf der Grundlage von Benutzergruppen an eine Warteschlange zur Parallelitätsskalierung weiter, indem Sie Abfragen mit Abfragegruppenbezeichnungen kennzeichnen oder anhand der unter Abfragen zu Warteschlangen definierten Bedingungen die entsprechenden Bedingungen erfüllen. Sie können Abfragen auch weiterleiten, indem Sie definieren WLMRegeln für die Abfrageüberwachung. Sie können zum Beispiel alle Abfragen, die länger als 5 Sekunden dauern, an eine Nebenläufigkeitsskalierungswarteschlange weiterleiten. Beachten Sie, dass das Verhalten in der Warteschlange variieren kann, je nachdem, ob Sie automatisch oder manuell arbeiten. WLM WLM Weitere Informationen finden Sie unter Automatisch implementieren WLM oder Manuell WLM implementieren.
Die Standardanzahl von Clustern für Parallelitätsskalierung ist eins. Die Anzahl der Nebenläufigkeitsskalierungscluster, die verwendet werden können, wird von gesteuert max_concurrency_scaling_clusters.
Überwachen der Nebenläufigkeitsskalierung
Mit Amazon Redshift können Sie die Parallelitätsskalierung überwachen und verwalten, um die Leistung und Kosteneffizienz Ihrer Data Warehousing-Workloads zu optimieren. Durch Parallelitätsskalierung kann Amazon Redshift automatisch zusätzliche Cluster-Kapazität hinzufügen, wenn die Arbeitslastanforderungen steigen, und diese Kapazität entfernen, wenn die Anforderungen sinken. Der folgende Abschnitt enthält Anleitungen zur Überwachung der Parallelitätsskalierung für Ihre Amazon Redshift Redshift-Cluster.
Sie können feststellen, ob eine Abfrage auf dem Haupt-Cluster oder einem Nebenläufigkeitsskalierungs-Cluster ausgeführt wird. Navigieren Sie dazu in der Amazon-Redshift-Konsole zu Cluster und wählen Sie einen Cluster aus. Wählen Sie dann die Registerkarte Abfrageüberwachung und Gleichzeitigkeit von Workloads aus, um Informationen zu laufenden Abfragen und Abfragen in der Warteschlange anzuzeigen.
Um die Ausführungszeiten zu ermitteln, fragen Sie die QUERY Tabelle STL _ ab und filtern Sie nach der concurrency_scaling_status
Spalte. Die folgende Abfrage vergleicht die Warteschlangen- und die Ausführungszeit von Abfragen, die auf dem Nebenläufigkeitsskalierungs-Cluster und auf dem Haupt-Cluster ausgeführt wurden.
SELECT w.service_class AS queue , CASE WHEN q.concurrency_scaling_status = 1 THEN 'concurrency scaling cluster' ELSE 'main cluster' END as concurrency_scaling_status , COUNT( * ) AS queries , SUM( q.aborted ) AS aborted , SUM( ROUND( total_queue_time::NUMERIC / 1000000,2) ) AS queue_secs , SUM( ROUND( total_exec_time::NUMERIC / 1000000,2) ) AS exec_secs FROM stl_query q JOIN stl_wlm_query w USING (userid,query) WHERE q.userid > 1 AND q.starttime > '2019-01-04 16:38:00' AND q.endtime < '2019-01-04 17:40:00' GROUP BY 1,2 ORDER BY 1,2;
Passen Sie die Werte starttime
und endtime
an Ihre Anforderungen an.
Systemansichten der Nebenläufigkeitsskalierung
Mit Amazon Redshift können Sie Systemansichten zur Parallelitätsskalierung verwenden, um die Parallelitätsskalierungsaktivitäten in Ihrem Cluster zu überwachen und zu verwalten. Im folgenden Abschnitt werden die Abfrage dieser Systemansichten und die Interpretation der Ergebnisse beschrieben, um die Parallelitätsskalierung in Ihrer Amazon Redshift Redshift-Umgebung effektiv zu nutzen.
Eine Reihe von Systemansichten mit dem Präfix SVCS enthält Details aus den Systemprotokolltabellen zu Abfragen sowohl auf dem Haupt- als auch auf dem Parallelitäts-Skalierungscluster.
Die folgenden Ansichten enthalten ähnliche Informationen wie die entsprechenden STL Ansichten oder SVL Ansichten:
Die folgenden Ansichten sind spezifische Ansichten für die Nebenläufigkeitsskalierung.
Weitere Informationen zur Nebenläufigkeitsskalierung finden Sie in den folgenden Themen im Amazon-Redshift-Verwaltungshandbuch.