SQLLogische Postgre-Replikation mit Aurora verwenden

So richten Sie die SQL logische Postgre-Replikation für einen Aurora Postgre-DB-Cluster ein SQL

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die RDS Amazon-Konsole unter https://console.aws.amazon.com/rds/.

2. Wählen Sie im Navigationsbereich Ihren Aurora SQL Postgre-DB-Cluster aus.

3. Öffnen Sie die Registerkarte Configuration (Konfiguration). Suchen Sie in den Instance-Details den Link Parametergruppe mit der DB-Cluster-Parametergruppe als Typ.

4. Wählen Sie den Link, um die benutzerdefinierten Parameter zu öffnen, die mit Ihrem Aurora SQL Postgre-DB-Cluster verknüpft sind.

5. Geben Sie in das Suchfeld Parameters (Parameter) rds ein, um den rds.logical_replication-Parameter zu finden. Der Standardwert für diesen Parameter ist 0, was bedeutet, dass er standardmäßig deaktiviert ist.

6. Wählen Sie Edit parameters (Parameter bearbeiten) aus, um auf die Eigenschaftswerte zuzugreifen. Wählen Sie dann 1 aus der Auswahl aus, um die Funktion zu aktivieren. Abhängig von Ihrer erwarteten Auslastung müssen Sie möglicherweise auch die Einstellungen für die folgenden Parameter ändern. In vielen Fällen sind die Standardwerte jedoch ausreichend.

   • max_replication_slots: Legen Sie diesen Parameter auf einen Wert fest, der mindestens der geplanten Gesamtzahl der Veröffentlichungen und Abonnements der logischen Replikation entspricht. Wenn Sie verwenden AWS DMS, sollte dieser Parameter mindestens Ihren geplanten Change-Data-Capture-Aufgaben aus dem Cluster sowie Veröffentlichungen und Abonnements für logische Replikation entsprechen.

   • max_wal_sendersund max_logical_replication_workers — Stellen Sie diese Parameter auf einen Wert ein, der mindestens der Anzahl der logischen Replikationsslots entspricht, die Sie aktiv sein möchten, oder der Anzahl der aktiven AWS DMS Aufgaben für die Datenänderungserfassung. Wenn Sie einen logischen Replikationsslot inaktiv lassen, wird die Bereinigung durch Entfernen überholter Tupel aus Tabellen verhindert. Wir empfehlen daher, Replikationsslots zu überwachen und inaktive Slots nach Bedarf zu entfernen.

   • max_worker_processes: Legen Sie diesen Parameter auf einen Wert fest, der mindestens der Summe der Werte max_logical_replication_workers, autovacuum_max_workers und max_parallel_workers entspricht. Bei kleinen DB-Instance-Klassen können sich Hintergrund-Workerprozesse auf Anwendungs-Workloads auswirken. Überwachen Sie daher die Leistung Ihrer Datenbank, wenn Sie max_worker_processes höher als den Standardwert festlegen. (Der Standardwert ist das Ergebnis vonGREATEST(${DBInstanceVCPU*2},8}, was bedeutet, dass dieser Wert standardmäßig entweder 8 oder das Doppelte der DB-Instance-Klasse CPU entspricht, je nachdem, welcher Wert größer ist).

   Anmerkung

   Sie können die Parameterwerte in einer benutzerdefinierten DB-Parametergruppe ändern. Die Parameterwerte in einer Standard-DB-Parametergruppe können nicht geändert werden.

7. Wählen Sie Änderungen speichern.

8. Starten Sie die Writer-Instance Ihres Aurora SQL Postgre-DB-Clusters neu, damit Ihre Änderungen wirksam werden. Wählen Sie in der RDS Amazon-Konsole die primäre DB-Instance des Clusters aus und klicken Sie im Aktionsmenü auf Reboot.

9. Wenn die Instance verfügbar ist, können Sie wie folgt überprüfen, ob die logische Replikation aktiviert ist.

   1. Wird verwendetpsql, um eine Verbindung zur Writer-Instance Ihres Aurora SQL Postgre-DB-Clusters herzustellen.

      psql --host=your-db-cluster-instance-1.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password --dbname=labdb

   2. Stellen Sie mithilfe des folgenden Befehls sicher, dass die logische Replikation aktiviert wurde.

      labdb=> SHOW rds.logical_replication;
       rds.logical_replication
      -------------------------
       on
      (1 row)

   3. Überprüfen Sie, dass wal_level auf logical festgelegt ist.

      labdb=> SHOW wal_level;
        wal_level
      -----------
       logical
      (1 row)

So deaktivieren Sie die logische Replikation

1. Löschen Sie alle Replikations-Slots.

   Um alle Replikationsslots zu löschen, stellen Sie eine Verbindung zum Herausgeber her und führen Sie den folgenden SQL Befehl aus.

   SELECT pg_drop_replication_slot(slot_name)
     FROM pg_replication_slots
    WHERE slot_name IN (SELECT slot_name FROM pg_replication_slots);

   Die Replikationsslots dürfen nicht aktiv sein, wenn Sie diesen Befehl ausführen.

2. Ändern Sie die dem Herausgeber zugeordnete benutzerdefinierte DB-Cluster-Parametergruppe, wie in Logische Replikation für Ihren Aurora SQL Postgre-DB-Cluster einrichten beschrieben. Legen Sie den rds.logical_replication-Parameter jedoch auf 0 fest.

   Weitere Informationen zu benutzerdefinierten DB-Parametergruppen finden Sie unter Ändern von Parametern in einer DB-Cluster-Parametergruppe in Amazon Aurora.

3. Starten Sie den SQL Publisher-Aurora-Postgre-DB-Cluster neu, damit die Änderung des rds.logical_replication Parameters wirksam wird.

Um den logischen Replikationsprozess zwischen zwei Aurora SQL Postgre-DB-Clustern zu starten

Bei diesen Schritten wird davon ausgegangen, dass Ihre Aurora SQL Postgre-DB-Cluster über eine Writer-Instance mit einer Datenbank verfügen, in der Sie die Beispieltabellen erstellen können.

1. Auf dem Publisher Aurora SQL Postgre-DB-Cluster

   1. Erstellen Sie eine Tabelle mit der folgenden SQL Anweisung.

      CREATE TABLE LogicalReplicationTest (a int PRIMARY KEY);

   2. Fügen Sie mithilfe der folgenden SQL Anweisung Daten in die Herausgeberdatenbank ein.

      INSERT INTO LogicalReplicationTest VALUES (generate_series(1,10000));

   3. Stellen Sie mithilfe der folgenden SQL Anweisung sicher, dass Daten in der Tabelle vorhanden sind.

      SELECT count(*) FROM LogicalReplicationTest;

   4. Erstellen Sie eine Veröffentlichung für diese Tabelle, indem Sie die CREATE PUBLICATION-Anweisung wie folgt verwenden.

      CREATE PUBLICATION testpub FOR TABLE LogicalReplicationTest;

2. Auf dem Aurora SQL Postgre-DB-Cluster für Abonnenten

   1. Erstellen Sie wie folgt dieselbe LogicalReplicationTest-Tabelle auf dem Abonnenten, die Sie auf dem Herausgeber erstellt haben.

      CREATE TABLE LogicalReplicationTest (a int PRIMARY KEY);

   2. Stellen Sie sicher, dass diese Tabelle leer ist.

      SELECT count(*) FROM LogicalReplicationTest;

   3. Erstellen Sie ein Abonnement, um die Änderungen vom Herausgeber zu erhalten. Sie müssen die folgenden Informationen über den Publisher Aurora SQL Postgre-DB-Cluster verwenden.

      • host — Die SQL Writer-DB-Instance des Publishers Aurora Postgre-DB-Clusters.

      • port – Der Port, den die Writer-DB-Instance überwacht. Die Standardeinstellung für Postgre SQL ist 5432.

      • dbname – Der Name der Datenbank.

      CREATE SUBSCRIPTION testsub CONNECTION 
         'host=publisher-cluster-writer-endpoint port=5432 dbname=db-name user=user password=password' 
         PUBLICATION testpub; 
      

      Anmerkung

      Geben Sie aus Sicherheitsgründen ein anderes Passwort als hier angegeben an.

      Nachdem das Abonnement erstellt wurde, wird für den Herausgeber ein Slot für die logische Replikation erstellt.

   4. Um für dieses Beispiel zu überprüfen, ob die ursprünglichen Daten auf dem Abonnenten repliziert wurden, verwenden Sie die folgende SQL Anweisung in der Abonnentendatenbank.

      SELECT count(*) FROM LogicalReplicationTest;

Zur Verwendung AWS DMS für die logische Replikation mit Aurora Postgre SQL

1. Bereiten Sie die Herausgeberdatenbank für die Arbeit vor. AWS DMS

   Zu diesem Zweck müssen Sie bei Postgre-Datenbanken der SQL Version 10.x und höher AWS DMS Wrapper-Funktionen auf die Publisher-Datenbank anwenden. Einzelheiten zu diesen und späteren Schritten finden Sie in den Anweisungen unter Verwenden von Postgre SQL Version 10.x und höher als Quelle im Benutzerhandbuch. AWS DMSAWS Database Migration Service

2. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS DMS Konsole unter. https://console.aws.amazon.com/dms/v2 Wählen Sie oben rechts dieselbe AWS Region aus, in der sich der Herausgeber und der Abonnent befinden.

3. Erstellen Sie eine AWS DMS Replikationsinstanz.

   Wählen Sie Werte, die mit denen für die Writer-DB-Instance des Herausgebers identisch sind. Dazu gehören die folgenden Einstellungen:

   • Wählen Sie für VPCdasselbe aus VPC wie für die Writer-DB-Instance.

   • Wählen Sie für Replikations-Subnetzgruppe eine Subnetzgruppe mit denselben Werten wie die Writer-DB-Instance aus. Erstellen Sie bei Bedarf eine Neue.

   • Wählen Sie unter Availability zone (Availability Zone) dieselbe Zone wie für die Writer-DB-Instance aus.

   • Wählen Sie für VPCSecurity Group dieselbe Gruppe wie für die Writer-DB-Instance aus.

4. Erstellen Sie einen AWS DMS Endpunkt für die Quelle.

   Geben Sie unter Verwendung der folgenden Einstellungen den Herausgeber als Quellendpunkt an:

   • Wählen Sie unter Endpoint type (Endpunkttyp) die Option Source endpoint (Quellendpunkt) aus.

   • Wählen Sie Select RDS DB Instance.

   • Wählen Sie zum RDSBeispiel die DB-ID der Writer-DB-Instance des Herausgebers aus.

   • Wählen Sie unter Source engine (Quellen-Engine) die Option postgres aus.

5. Erstellen Sie einen AWS DMS Endpunkt für das Ziel.

   Geben Sie den Abonnenten unter Verwendung der folgenden Einstellungen als Zielendpunkt an:

   • Wählen Sie unter Endpoint type (Endpunkttyp) die Option Target endpoint (Zielendpunkt) aus.

   • Wählen Sie Select RDS DB Instance aus.

   • Wählen Sie zum RDSBeispiel die DB-ID der Abonnenten-DB-Instance aus.

   • Wählen Sie einen Wert für Source engine (Quell-Engine) aus. Wenn der Abonnent beispielsweise eine RDS SQL Postgre-Datenbank ist, wählen Sie Postgres. Wenn der Abonnent eine Aurora SQL Postgre-Datenbank ist, wählen Sie aurora-postgresql.

6. Erstellen Sie eine Datenbankmigrationsaufgabe. AWS DMS

   Sie geben mit der Datenbankmigrationsaufgabe an, welche Datenbanktabelle migriert werden sollen, um Daten mithilfe des Zielschemas zuzuordnen und um neue Tabellen für die Zieldatenbank zu erstellen. Verwenden Sie zumindest die folgenden Einstellungen für Task configuration (Aufgabenkonfiguration):

   • Wählen Sie unter Replication instance (Replikations-Instance) die Replikations-Instance aus, die Sie in einem früheren Schritt erstellt haben.

   • Wählen Sie unter Source database endpoint (Quelldatenbank-Endpunkt) die Herausgeberquelle aus, die Sie in einem früheren Schritt erstellt haben.

   • Wählen Sie unter Target database endpoint (Zieldatenbank-Endpunkt) das Abonnentenziel aus, das Sie in einem früheren Schritt erstellt haben.

   Die übrigen Aufgabendetails sind von Ihrem Migrationsprojekt abhängig. Weitere Informationen zum Angeben aller Details für DMS Aufgaben finden Sie unter Arbeiten mit AWS DMS Aufgaben im AWS Database Migration Service Benutzerhandbuch.