Migration zu einem HSM -verschlüsselten Cluster - Amazon Redshift

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migration zu einem HSM -verschlüsselten Cluster

Um einen unverschlüsselten Cluster zu einem mit einem Hardwaresicherheitsmodul (HSM) verschlüsselten Cluster zu migrieren, erstellen Sie einen neuen verschlüsselten Cluster und verschieben Ihre Daten in den neuen Cluster. Sie können nicht zu einem HSM -verschlüsselten Cluster migrieren, indem Sie den Cluster ändern.

Um von einem unverschlüsselten Cluster zu einem HSM -verschlüsselten Cluster zu migrieren, entladen Sie zunächst Ihre Daten aus dem vorhandenen Quellcluster. Anschließend laden Sie die Daten in einen neuen Ziel-Cluster mit der gewünschten Verschlüsselungseinstellung. Weitere Informationen zum Starten eines verschlüsselten Clusters finden Sie unter Verschlüsselung von Amazon-Redshift-Datenbanken.

Während des Migrationsprozesses steht Ihr Quell-Cluster bis zum letzten Schritt für schreibgeschützte Abfragen zur Verfügung. Im letzten Schritt werden der Ziel- und der Quell-Cluster umbenannt. Damit werden die Endpunkte vertauscht, sodass Datenverkehr an den neuen Ziel-Cluster weitergeleitet wird. Der Ziel-Cluster steht erst zur Verfügung, wenn Sie nach der Umbenennung einen Neustart durchgeführt haben. Unterbrechen Sie das Laden von Daten und andere Schreiboperationen für den Quell-Cluster, während Daten übertragen werden.

Vorbereitung der Migration

  1. Identifizieren Sie alle abhängigen Systeme, die mit Amazon Redshift interagieren, z. B. Business Intelligence (BI) -Tools und Systeme zum Extrahieren, Transformieren und Laden (ETL).

  2. Identifizieren Sie Prüfabfragen, um die Migration zu testen.

    Beispielsweise können Sie die folgende Abfrage verwenden, um die Anzahl der benutzerdefinieren Tabellen zu ermitteln.

    select count(*)
from pg_table_def
where schemaname != 'pg_catalog';

    Die folgende Abfrage gibt eine Liste aller benutzerdefinierten Tabellen und die Anzahl der Zeilen für jede Tabelle zurück.

    select "table", tbl_rows
from svv_table_info;

  3. Wählen Sie einen sinnvollen Zeitpunkt für Ihre Migration aus. Um herauszufinden, wann die Cluster-Auslastung am niedrigsten ist, überwachen Sie Cluster-Metriken wie CPU Auslastung und Anzahl der Datenbankverbindungen. Weitere Informationen finden Sie unter Anzeigen von Cluster-Leistungsdaten.

  4. Verwerfen Sie nicht genutzte Tabellen.

    Um eine Liste der Tabellen zu erstellen, die angibt, wie oft jede Tabelle abgefragt wurde, führen Sie die folgende Anfrage aus. 

    select database,
schema,
table_id,
"table",
round(size::float/(1024*1024)::float,2) as size,
sortkey1,
nvl(s.num_qs,0) num_qs
from svv_table_info t
left join (select tbl,
perm_table_name,
count(distinct query) num_qs
from stl_scan s
where s.userid > 1
and   s.perm_table_name not in ('Internal worktable','S3')
group by tbl,
perm_table_name) s on s.tbl = t.table_id
where t."schema" not in ('pg_internal');

  5. Starte Sie einen neuen, verschlüsselten Cluster.

    Verwenden Sie dieselbe Port-Nummer für den Ziel-Cluster wie für den Quell-Cluster. Weitere Informationen zum Starten eines verschlüsselten Clusters finden Sie unter Verschlüsselung von Amazon-Redshift-Datenbanken.

  6. Richten Sie den Prozess zum Entladen und Laden ein.

    Das Dienstprogramm Amazon Redshift Unload/Copy unterstützt Sie bei der Migration von Daten zwischen Clustern. Das Dienstprogramm exportiert Daten aus dem Quell-Cluster an einen Speicherort auf Amazon S3. Die Daten sind verschlüsselt mit AWS KMS. Anschließend importiert das Dienstprogramm die Daten automatisch in das Ziel. Optional können Sie das Dienstprogramm verwenden, um Amazon S3 zu bereinigen, nachdem die Migration abgeschlossen ist.

  7. Führen Sie einen Test aus, um Ihren Prozess zu überprüfen und zu schätzen, wie lange Schreiboperationen ausgesetzt werden müssen.

    Während der Entlade- und Ladeoperationen bewahren Sie die Datenkonsistenz, indem Sie das Laden von Daten und andere Schreiboperationen aussetzen. Führen Sie unter Verwendung einer Ihrer größten Tabellen den Entlade- und Ladeprozess aus, um die Zeit abschätzen zu können.

  8. Erstellen Sie Datenbankenobjekte, wie Schemas, Tabellen und Ansichten. Um Ihnen bei der Generierung der erforderlichen Data Definition Language (DDL) -Anweisungen zu helfen, können Sie die Skripts AdminViewsim AWS GitHub Repository verwenden.

So migrieren Sie Ihren Cluster

  1. Stoppen Sie alle ETL Prozesse auf dem Quellcluster.

    Um sicherzustellen, dass keine Schreibvorgänge ausgeführt werden, verwenden Sie die Amazon Redshift Management Console, um IOPS Schreibvorgänge zu überwachen. Weitere Informationen finden Sie unter Anzeigen von Cluster-Leistungsdaten.

  2. Führen sie die Prüfabfragen aus, die Sie zuvor identifiziert haben, um Informationen über den unverschlüsselten Quellcluster vor der Migration zu erfassen.

  3. (Optional) Erstellen Sie eine Workload-Management-Warteschlange (WLM), um die maximal verfügbaren Ressourcen sowohl im Quell- als auch im Zielcluster zu nutzen. Erstellen Sie beispielsweise eine Warteschlange namens data_migrate und konfigurieren Sie diese mit einem Speicher von 95 Prozent und einer Nebenläufigkeit von 4. Weitere Informationen finden Sie unter Weiterleiten von Abfragen zu Warteschlangen auf der Grundlage von Benutzergruppen und Abfragegruppen im Datenbankentwicklerhandbuch zu Amazon Redshift.

  4. Führen Sie mithilfe der data_migrate Warteschlange den aus UnloadCopyUtility.

    Überwachen Sie UNLOAD den COPY Prozess mithilfe der Amazon Redshift Redshift-Konsole.

  5. Führen Sie die Prüfabfragen erneut aus und stellen Sie sicher, dass die Ergebnisse mit den Ergebnissen des Quellclusters übereinstimmen.

  6. Benennen Sie Ihre Quell- und Zielcluster um, um die Endpunkte zu vertauschen. Um Störungen zu vermeiden, führen Sie diese Operation außerhalb der Geschäftszeiten aus.

  7. Stellen Sie sicher, dass Sie mit all Ihren SQL Clients, wie ETL z. B. Berichtstools, eine Verbindung zum Zielcluster herstellen können.

  8. Schließen Sie den unverschlüsselten Quellcluster.