Verwenden einer PostgreSQL-Datenbank als AWS DMS -Quelle

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Sie können Daten aus einer oder mehreren PostgreSQL-Datenbanken migrieren mit. AWS DMS Mit einer PostgreSQL-Datenbank als Quelle können Sie Daten zu einer anderen PostgreSQL-Datenbank oder einer der anderen unterstützten Datenbanken migrieren.

Hinweise zu Versionen von PostgreSQL, die als Quelle AWS DMS unterstützt werden, finden Sie unter. Quellen für AWS DMS

AWS DMS unterstützt PostgreSQL für diese Datenbanktypen:

Sie können Secure Sockets Layer (SSL) verwenden, um Verbindungen zwischen Ihrem PostgreSQL-Endpunkt und der Replikations-Instance zu verschlüsseln. Weitere Informationen zur Verwendung von SSL mit einem PostgreSQL-Endpunkt finden Sie unter Verwenden von SSL mit AWS Database Migration Service.

Eine zusätzliche Sicherheitsanforderung bei Verwendung von PostgreSQL als Quelle besteht darin, dass das angegebene Benutzerkonto ein registrierter Benutzer in der PostgreSQL-Datenbank sein muss.

Gehen Sie wie folgt vor, um eine PostgreSQL-Datenbank als AWS DMS Quellendpunkt zu konfigurieren:

Arbeiten mit selbstverwalteten PostgreSQL-Datenbanken als Quelle in AWS DMS

Mit einer selbstverwalteten PostgreSQL-Datenbank als Quelle können Sie Daten entweder in eine andere PostgreSQL-Datenbank oder in eine der anderen Zieldatenbanken migrieren, die von unterstützt werden. AWS DMS Die Datenbankquelle kann eine lokale Datenbank oder eine selbstverwaltete Engine sein, die auf einer EC2 Amazon-Instance ausgeführt wird. Sie können eine DB-Instance sowohl für Volllast- als auch für CDC-Aufgaben verwenden.

Voraussetzungen für die Verwendung einer selbstverwalteten PostgreSQL-Datenbank als Quelle AWS DMS

Führen Sie vor der Migration von Daten aus einer selbstverwalteten PostgreSQL-Quelldatenbank die folgenden Schritte aus:

CDC mithilfe einer selbstverwalteten PostgreSQL-Datenbank als Quelle aktivieren AWS DMS

AWS DMS unterstützt die Erfassung von Änderungsdaten (CDC) mithilfe logischer Replikation. Legen Sie die folgenden Parameter und Werte in der Konfigurationsdatei postgresql.conf fest, um die logische Replikation einer selbstverwalteten PostgreSQL-Quelldatenbank zu aktivieren:

Einige Parameter sind statisch und können nur beim Serverstart festgelegt werden. Änderungen an ihren Einträgen in der Konfigurationsdatei (für eine selbstverwaltete Datenbank) oder der DB-Parametergruppe (für eine Datenbank von RDS für PostgreSQL) werden ignoriert, bis der Server neu gestartet wird. Weitere Informationen finden Sie in der PostgreSQL-Dokumentation.

Weitere Informationen zum Aktivieren von CDC finden Sie unter Aktivieren der Erfassung von Datenänderungen (CDC) mithilfe logischer Replikation.

Arbeiten mit AWS-verwalteten PostgreSQL-Datenbanken als DMS-Quelle

Sie können eine AWS-verwaltete PostgreSQL-DB-Instance als Quelle für verwenden. AWS DMS Sie können sowohl Volllast- als auch CDC-Aufgaben mit einer von AWS verwalteten PostgreSQL-Quelle ausführen.

Voraussetzungen für die Verwendung einer AWS-verwalteten PostgreSQL-Datenbank als DMS-Quelle

Gehen Sie vor der Migration von Daten aus einer AWS-verwalteten PostgreSQL-Quelldatenbank wie folgt vor:

CDC mit einer AWS-verwalteten PostgreSQL-DB-Instance aktivieren mit AWS DMS

AWS DMS unterstützt CDC auf Amazon RDS-PostgreSQL-Datenbanken, wenn die DB-Instance für die logische Replikation konfiguriert ist. In der folgenden Tabelle wird die logische Replikationskompatibilität jeder AWS-verwalteten PostgreSQL-Version zusammengefasst.

Sie können keine RDS-PostgreSQL-Lesereplikate für CDC (laufende Replikation) verwenden.

Migrieren einer Datenbank von Amazon RDS für PostgreSQL ohne Verwendung des Hauptbenutzerkontos

In Einzelfällen können Sie das Hauptbenutzerkonto für die DB-Instance von Amazon RDS PostgreSQL, die Sie als Quelle verwenden, nicht verwenden. In diesen Fällen erstellen Sie mehrere Objekte, um Data Definition Language (DDL)-Ereignisse zu erfassen. Sie erstellen diese Objekte in dem Konto, das nicht das Masterkonto ist, und dann erstellen Sie einen Auslöser im Masterbenutzerkonto.

Gehen Sie wie folgt vor, um diese Objekte zu erstellen.

Wenn Sie das vorangegangene Verfahren ausgeführt haben, können Sie den AWS DMS -Quellendpunkt mithilfe des OtherThanMaster-Kontos erstellen.

Aktivieren der Erfassung von Datenänderungen (CDC) mithilfe logischer Replikation

Sie können das native PostgreSQL-Feature zur logischen Replikation verwenden, um CDC während einer Datenbankmigration für PostgreSQL-Quellen zu aktivieren. Sie können dieses Feature mit einer selbstverwalteten PostgreSQL- und einer DB-Instance von Amazon RDS für PostgreSQL verwenden. Dieser Ansatz reduziert Ausfallzeiten und stellt sicher, dass die Zieldatenbank mit der PostgreSQL-Quelldatenbank synchronisiert ist.

AWS DMS unterstützt CDC für PostgreSQL-Tabellen mit Primärschlüsseln. Wenn eine Tabelle keinen Primärschlüssel aufweist, enthalten die Write-Ahead (WAL)-Protokolle kein Vorher-Image der Datenbankzeile. In diesem Fall kann DMS die Tabelle nicht aktualisieren. Sie können dann zusätzliche Konfigurationseinstellungen verwenden und die Tabellenreplikatidentität als Problemumgehung verwenden. Bei diesem Ansatz können jedoch zusätzliche Protokolle generiert werden. Es wird empfohlen, die Tabellenreplikatidentität erst nach sorgfältigen Tests als Problemumgehung zu verwenden. Weitere Informationen finden Sie unter Zusätzliche Konfigurationseinstellungen bei Verwendung einer PostgreSQL-Datenbank als DMS-Quelle.

AWS DMS Verwendet bei Volllast- und CDC- und nur CDC-Aufgaben logische Replikationssteckplätze, um WAL-Protokolle für die Replikation aufzubewahren, bis die Protokolle dekodiert sind. Beim Neustart (nicht bei der Fortsetzung) einer Volllast-und-CDC- oder einer reinen CDC-Aufgabe wird der Replikations-Slot neu erstellt.

Konfigurieren des Plug-ins pglogical

Das als PostgreSQL-Erweiterung implementierte Plug-in pglogical ist ein logisches Replikationssystem und Modell für die selektive Datenreplikation. In der folgenden Tabelle sind die PostgreSQL-Quelldatenbankversionen aufgeführt, die das Plug-in pglogical unterstützen.

Bevor Sie pglogical für die Verwendung mit konfigurieren AWS DMS, aktivieren Sie zunächst die logische Replikation für Change Data Capture (CDC) in Ihrer PostgreSQL-Quelldatenbank.

Nachdem die logische Replikation in Ihrer PostgreSQL-Quelldatenbank aktiviert wurde, führen Sie die folgenden Schritte aus, um pglogical für die Verwendung mit DMS zu konfigurieren.

Sie können jetzt eine AWS DMS Aufgabe erstellen, die die Erfassung von Änderungsdaten für Ihren PostgreSQL-Quelldatenbank-Endpunkt durchführt.

Verwenden von nativen CDC-Startpunkten zum Einrichten einer CDC-Last einer PostgreSQL-Quelle

Legen Sie zum Aktivieren von nativen CDC-Startpunkten mit PostgreSQL als Quelle das zusätzliche Verbindungsattribut slotName auf den Namen eines vorhandenen logischen Replikations-Slots fest, wenn Sie den Endpunkt erstellen. Dieser logische Replikations-Slot enthält laufende Änderungen ab dem Zeitpunkt der Erstellung des Endpunkts und unterstützt somit die Replikation ab einem früheren Zeitpunkt.

PostgreSQL schreibt die Datenbankänderungen in WAL-Dateien, die nur verworfen werden, nachdem ein AWS DMS erfolgreich Änderungen aus dem logischen Replikations-Slot gelesen hat. Durch die Verwendung von logischen Replikations-Slots können protokollierte Änderungen vor dem Löschen geschützt werden, bevor sie vom Replikationsmodul verwendet werden.

Je nach Änderungsrate und Verbrauch können Änderungen in einem logischen Replikations-Slot jedoch zu einer erhöhten Festplattennutzung führen. Es wird empfohlen, Speicherplatznutzungsalarme in der PostgreSQL-Quell-Instance festzulegen, wenn Sie logische Replikations-Slots verwenden. Weitere Informationen zur Einstellung des zusätzlichen Verbindungsattributs slotName finden Sie unter Endpunkteinstellungen und zusätzliche Verbindungsattribute (ECAs) bei Verwendung von PostgreSQL als DMS-Quelle.

Im folgenden Verfahren wird dieser Ansatz näher erläutert.

Wenn Sie native CDC-Startpunkte mit dem Plug-in pglogical verwenden und einen neuen Replikations-Slot verwenden möchten, führen Sie die folgenden Einrichtungsschritte durch, bevor Sie eine CDC-Aufgabe erstellen.

Sie können jetzt mithilfe des neuen Replikations-Slots eine reine CDC-Aufgabe mit einem nativen PostgreSQL-Startpunkt erstellen. Weitere Informationen zum Plug-in pglogical finden Sie in der Dokumentation zu pglogical 3.7.

Migration von PostgreSQL zu PostgreSQL mit AWS DMS

Wenn Sie von einer anderen Datenbank-Engine als PostgreSQL zu einer PostgreSQL-Datenbank migrieren, AWS DMS ist dies fast immer das beste Migrationstool, das Sie verwenden können. Wenn Sie jedoch aus einer PostgreSQL-Datenbank auf eine PostgreSQL-Datenbank migrieren, können native PostgreSQL-Tools effektiver sein.

Verwenden nativer PostgreSQL-Tools zur Datenmigration

Unter den folgenden Bedingungen empfehlen wir die Verwendung von PostgreSQL-Datenbank-Migrationstools wie pg_dump:

Das Dienstprogramm pg_dump verwendet den Befehl COPY, um ein Schema sowie eine Daten-Dumpdatei einer PostgreSQL-Datenbank zu erstellen. Das durch pg_dump erzeugte Dump-Skript lädt Daten in eine Datenbank mit dem gleichen Namen und erstellt die Tabellen, Indizes und Fremdschlüssel neu. Verwenden Sie den Befehl pg_restore und den Parameter -d, um die Daten in einer Datenbank mit einem anderen Namen wiederherzustellen.

Wenn Sie Daten aus einer PostgreSQL-Quelldatenbank, die auf EC2 einem Amazon RDS for PostgreSQL PostgreSQL-Ziel läuft, migrieren, können Sie das pglogical-Plugin verwenden.

Weitere Informationen zum Importieren einer PostgreSQL-Datenbank in Amazon RDS für PostgreSQL oder die Amazon-Aurora-PostgreSQL-kompatible Edition finden Sie unter https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Procedural.Importing.html.

Migration von Daten von PostgreSQL auf PostgreSQL mit DMS

AWS DMS kann Daten beispielsweise von einer lokalen PostgreSQL-Quelldatenbank auf eine Amazon RDS for PostgreSQL- oder Aurora PostgreSQL-Zielinstanz migrieren. Kern- oder grundlegende PostgreSQL-Datentypen werden meist erfolgreich migriert.

Datentypen, die in der Quelldatenbank, aber nicht in der Zieldatenbank unterstützt werden, werden möglicherweise nicht erfolgreich migriert. AWS DMS streamt einige Datentypen als Zeichenfolgen, wenn der Datentyp unbekannt ist. Bei einigen Datentypen, wie z. B. XML und JSON, können kleine Dateien erfolgreich migriert werden, bei großen Dokumenten schlägt die Migration jedoch fehl.

Beachten Sie bei der Datentypmigration Folgendes:

Die folgende Tabelle enthält PostgreSQL-Quelldatentypen sowie Erläuterungen dazu, ob diese erfolgreich migriert werden können:

Migrieren räumlicher PostGIS-Datentypen

Räumliche Daten identifizieren die Geometrieinformationen eines Objekts oder einer Position im Raum. Objektrelationale PostgreSQL-Datenbanken unterstützen räumliche PostGIS-Datentypen.

Stellen Sie vor der Migration räumlicher PostgreSQL-Datenobjekte sicher, dass das Plug-in PostGIS auf globaler Ebene aktiviert ist. Dadurch wird sichergestellt, dass die exakten räumlichen Quelldatenspalten für die PostgreSQL-Ziel-DB-Instance AWS DMS erstellt werden.

AWS DMS Unterstützt für homogene Migrationen von PostgreSQL zu PostgreSQL die Migration von geometrischen und geographischen (geodätischen Koordinaten) PostGIS-Datenobjekttypen und -Subtypen wie die folgenden:

Migration von Babelfish für Amazon Aurora PostgreSQL mit AWS DMS

Sie können die Quelltabellen von Babelfish for Aurora PostgreSQL auf alle unterstützten Zielendpunkte migrieren, indem Sie. AWS DMS

Wenn Sie Ihren AWS DMS Quellendpunkt mit der DMS-Konsole, der API oder den CLI-Befehlen erstellen, setzen Sie die Quelle auf Amazon Aurora PostgreSQL und den Datenbanknamen auf. babelfish_db Stellen Sie sicher, dass im Abschnitt Endpunkteinstellungen auf Babelfish und auf den DatabaseModeNamen der Babelfish-T-SQL-Quelldatenbank gesetzt BabelfishDatabaseNameist. Anstatt den Babelfish-TCP-Port zu verwenden1433, verwenden Sie den Aurora PostgreSQL-TCP-Port. 5432

Sie müssen Ihre Tabellen erstellen, bevor Sie Daten migrieren, um sicherzustellen, dass DMS die richtigen Datentypen und Tabellenmetadaten verwendet. Wenn Sie Ihre Tabellen nicht auf dem Ziel erstellen, bevor Sie die Migration ausführen, erstellt DMS die Tabellen möglicherweise mit falschen Datentypen und Berechtigungen.

Hinzufügen von Transformationsregeln zu Ihrer Migrationsaufgabe

Wenn Sie eine Migrationsaufgabe für eine Babelfish-Quelle erstellen, müssen Sie Transformationsregeln einbeziehen, die sicherstellen, dass DMS die vorab erstellten Zieltabellen verwendet.

Wenn Sie bei der Definition Ihres Babelfish for PostgreSQL-Clusters den Migrationsmodus für mehrere Datenbanken festgelegt haben, fügen Sie eine Transformationsregel hinzu, die den Schemanamen in das T-SQL-Schema umbenennt. Wenn der T-SQL-Schemaname beispielsweise lautet und Ihr Babelfish for PostgreSQL-Schemaname lautetdbo, benennen Sie das Schema um mydb_dbodbo, sodass es eine Transformationsregel verwendet. Den Namen des PostgreSQL-Schemas finden Sie unter Babelfish-Architektur im Amazon Aurora Aurora-Benutzerhandbuch.

Wenn Sie den Einzeldatenbankmodus verwenden, müssen Sie keine Transformationsregel verwenden, um Datenbankschemas umzubenennen. PostgreSQL-Schemanamen haben eine one-to-one Zuordnung zu den Schemanamen in der T-SQL-Datenbank.

Das folgende Beispiel für eine Transformationsregel zeigt, wie der Schemaname von mydb_dbo zurück in umbenannt wird: dbo

{
    "rules": [
        {
            "rule-type": "transformation",
            "rule-id": "566251737",
            "rule-name": "566251737",
            "rule-target": "schema",
            "object-locator": {
                "schema-name": "mydb_dbo"
            },
            "rule-action": "rename",
            "value": "dbo",
            "old-value": null
        },
        {
            "rule-type": "selection",
            "rule-id": "566111704",
            "rule-name": "566111704",
            "object-locator": {
                "schema-name": "mydb_dbo",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}

Einschränkungen für die Verwendung eines PostgreSQL-Quellendpunkts mit Babelfish-Tabellen

Die folgenden Einschränkungen gelten, wenn Sie einen PostgreSQL-Quellendpunkt mit Babelfish-Tabellen verwenden:

AWS DMS Artefakte aus einer PostgreSQL-Quelldatenbank entfernen

AWS DMS Erstellt zum Erfassen von DDL-Ereignissen verschiedene Artefakte in der PostgreSQL-Datenbank, wenn eine Migrationsaufgabe gestartet wird. Wenn die Aufgabe abgeschlossen ist, können Sie diese Artefakte entfernen.

Entfernen Sie die Artefakte, indem Sie die folgenden Anweisungen ausgeben (in der Reihenfolge, in der sie angezeigt werden), wobei {AmazonRDSMigration} das Schema ist, in dem die Artefakte erstellt wurden. Ein Schema sollte nur mit äußerster Vorsicht gelöscht werden. Löschen Sie nie ein Schema, das in Betrieb ist, besonders kein öffentliches.

drop event trigger awsdms_intercept_ddl;

Der Ereignisauslöser gehört nicht zu einem bestimmten Schema.

drop function {AmazonRDSMigration}.awsdms_intercept_ddl()
drop table {AmazonRDSMigration}.awsdms_ddl_audit
drop schema {AmazonRDSMigration}

Zusätzliche Konfigurationseinstellungen bei Verwendung einer PostgreSQL-Datenbank als DMS-Quelle

Sie können zusätzliche Konfigurationseinstellungen für die Migration von Daten aus einer PostgreSQL-Datenbank auf zwei Weisen hinzufügen:

Verwenden der MapBooleanAsBoolean PostgreSQL-Endpunkteinstellung

Sie können PostgreSQL-Endpunkteinstellungen verwenden, um einen booleschen Wert aus Ihrer PostgreSQL-Quelle einem Amazon-Redshift-Ziel als booleschen Wert zuzuordnen. Standardmäßig wird ein BOOLEAN-Typ als varchar(5) migriert. Sie können MapBooleanAsBoolean angeben, damit PostgreSQL den booleschen Wert als booleschen Wert migriert, wie im folgenden Beispiel gezeigt.

--postgre-sql-settings '{"MapBooleanAsBoolean": true}'

Beachten Sie, dass Sie diese Einstellung sowohl am Quell- als auch am Zielendpunkt festlegen müssen, damit sie wirksam wird.

Da MySQL keinen BOOLEAN-Typ hat, sollten Sie bei der Migration von BOOLEAN-Daten nach MySQL eine Transformationsregel anstelle dieser Einstellung verwenden.

Endpunkteinstellungen und zusätzliche Verbindungsattribute (ECAs) bei Verwendung von PostgreSQL als DMS-Quelle

Sie können Endpunkteinstellungen und zusätzliche Verbindungsattribute (ECAs) verwenden, um Ihre PostgreSQL-Quelldatenbank zu konfigurieren. Sie geben Endpunkteinstellungen an, wenn Sie den Quellendpunkt mithilfe der AWS DMS Konsole oder mithilfe des create-endpoint Befehls in AWS CLI, mit der --postgre-sql-settings '{"EndpointSetting": "value", ...}' JSON-Syntax erstellen.

Die folgende Tabelle zeigt die Endpunkteinstellungen ECAs , die Sie mit PostgreSQL als Quelle verwenden können.

Einschränkungen bei Verwendung einer PostgreSQL-Datenbank als DMS-Quelle

Die folgenden Einschränkungen gelten bei der Verwendung von PostgreSQL als Quelle für AWS DMS:

Quelldatentypen für PostgreSQL

Die folgende Tabelle zeigt die PostgreSQL-Quelldatentypen, die bei der Verwendung unterstützt werden, AWS DMS und die Standardzuweisung zu AWS DMS Datentypen.

Weitere Informationen zum Anzeigen des Datentyps, der im Ziel zugewiesen ist, finden Sie im Abschnitt für den Zielendpunkt, den Sie verwenden.

Weitere Informationen zu AWS DMS Datentypen finden Sie unter. Datentypen für den AWS Database Migration Service

Arbeiten mit LOB-Quelldatentypen für PostgreSQL

PostgreSQL-Spaltengrößen wirken sich auf die Konvertierung von PostgreSQL-LOB-Datentypen in AWS DMS -Datentypen aus. Um damit zu arbeiten, führen Sie für die folgenden AWS DMS -Datentypen folgende Schritte aus: