Überlegungen zu DB-Cluster-Snapshot-Exporten

Sie können nicht mehrere Exportaufgaben für denselben DB-Cluster-Snapshot gleichzeitig ausführen. Dies gilt sowohl für vollständige als auch Teilexporte.

Pro Person AWS-Konto können bis zu fünf DB-Snapshot-Exportaufgaben gleichzeitig ausgeführt werden.

Sie können keine Snapshot-Daten aus Aurora Serverless v1 DB-Clustern nach S3 exportieren.

Exporte nach S3 unterstützen keine S3-Präfixe, die einen Doppelpunkt (:) enthalten.

Die folgenden Zeichen im S3-Dateipfad werden während des Exports in Unterstriche (_) konvertiert:

\ ` " (space)

Wenn eine Datenbank, ein Schema oder eine Tabelle andere Zeichen als den folgenden enthält, wird ein teilweiser Export nicht unterstützt. Sie können jedoch den gesamten DB-Snapshot exportieren.

Leerzeichen ( ) und bestimmte andere Zeichen werden in den Spaltennamen von Datenbanktabellen nicht unterstützt. Tabellen mit den folgenden Zeichen in Spaltennamen werden beim Export übersprungen:

, ; { } ( ) \n \t = (space)

Tabellen mit Schrägstrichen (/) im Namen werden beim Export übersprungen.

SQLTemporäre und nicht protokollierte Aurora Postgre-Tabellen werden beim Export übersprungen.

Wenn die Daten ein großes Objekt enthalten, z. B. ein BLOB oderCLOB, das fast 500 MB groß oder größer ist, schlägt der Export fehl.

Wenn eine Zeile in einer Tabelle ca. 2 GB groß oder noch größer ist, wird die Tabelle beim Export übersprungen.

Bei Teilexporten hat die ExportOnly Liste eine maximale Größe von 200 KB.

Es wird dringend empfohlen, für jede Exportaufgabe einen eindeutigen Namen zu verwenden. Wenn Sie keinen eindeutigen Aufgabennamen verwenden, erhalten Sie möglicherweise die folgende Fehlermeldung:

ExportTaskAlreadyExistsFault: Beim Aufrufen der StartExportTask Operation ist ein Fehler aufgetreten (ExportTaskAlreadyExists): Die Exportaufgabe mit der ID xxxxx existiert bereits.

Sie können einen Snapshot löschen, während Sie seine Daten nach S3 exportieren, aber die Speicherkosten für diesen Snapshot werden Ihnen so lange in Rechnung gestellt, bis die Exportaufgabe abgeschlossen ist.

Sie können exportierte Snapshot-Daten aus S3 nicht in einem neuen DB-Cluster wiederherstellen.

Aktuelle Konvention:

batch_index/part-partition_index-random_uuid.format-based_extension

Der Batchindex ist eine Sequenznummer, die einen aus der Tabelle gelesenen Datenstapel darstellt. Wenn wir Ihre Tabelle nicht in kleine Teile partitionieren können, die parallel exportiert werden sollen, wird es mehrere Batch-Indizes geben. Das Gleiche passiert, wenn Ihre Tabelle in mehrere Tabellen partitioniert ist. Es wird mehrere Batch-Indizes geben, einen für jede der Tabellenpartitionen Ihrer Haupttabelle.

Wenn wir Ihre Tabelle in kleine Teile partitionieren können, die parallel gelesen werden sollen, wird es nur den 1 Batch-Index-Ordner geben.

Im Batch-Index-Ordner befinden sich eine oder mehrere Parquet-Dateien, die die Daten Ihrer Tabelle enthalten. Das Präfix des Parquet-Dateinamens istpart-partition_index. Wenn Ihre Tabelle partitioniert ist, gibt es mehrere Dateien, die mit dem Partitionsindex 00000 beginnen.

Es kann Lücken in der Reihenfolge des Partitionsindexes geben. Dies liegt daran, dass jede Partition aus einer Bereichsabfrage in Ihrer Tabelle abgerufen wird. Wenn sich im Bereich dieser Partition keine Daten befinden, wird diese Sequenznummer übersprungen.

Nehmen wir beispielsweise an, dass die id Spalte der Primärschlüssel der Tabelle ist und ihre Minimal- und Maximalwerte 100 und 1000 sind. Wenn wir versuchen, diese Tabelle mit neun Partitionen zu exportieren, lesen wir sie mit parallel Abfragen wie den folgenden:

SELECT * FROM table WHERE id <= 100 AND id < 200
	SELECT * FROM table WHERE id <= 200 AND id < 300

Dies sollte neun Dateien von part-00000-random_uuid.gz.parquet bis erzeugenpart-00008-random_uuid.gz.parquet. Wenn es jedoch keine Zeilen IDs zwischen 200 und gibt350, ist eine der fertigen Partitionen leer und es wird keine Datei dafür erstellt. Im vorherigen Beispiel wurde part-00001-random_uuid.gz.parquet nicht erstellt.

Ältere Konvention:

part-partition_index-random_uuid.format-based_extension

Dies entspricht der aktuellen Konvention, jedoch ohne das batch_index Präfix, zum Beispiel:

part-00000-c5a881bb-58ff-4ee6-1111-b41ecff340a3-c000.gz.parquet
	part-00001-d7a881cc-88cc-5ab7-2222-c41ecab340a4-c000.gz.parquet
	part-00002-f5a991ab-59aa-7fa6-3333-d41eccd340a7-c000.gz.parquet
	

BOOLEAN

INT32

INT64

INT96

FLOAT

DOUBLE

BYTE_ ARRAY — Ein Byte-Array mit variabler Länge, auch als binär bezeichnet

FIXED_ _ LEN BYTE _ ARRAY — Ein Byte-Array mit fester Länge, das verwendet wird, wenn die Werte eine konstante Größe haben