Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden von Amazon S3 als Quelle für AWS DMS

Sie können Daten aus einem Amazon-S3-Bucket mithilfe von AWS DMS migrieren. Erteilen Sie dazu Zugriff auf einen Amazon-S3-Bucket, der eine oder mehrere Datendateien enthält. Fügen Sie diesem S3-Bucket eine JSON-Datei hinzu, die die Zuweisung zwischen den Daten und den Datenbanktabellen der Daten in diesen Dateien beschreibt.

Die Quelldatendateien müssen im Amazon-S3-Bucket enthalten sein, bevor die Volllastaufgabe beginnt. Geben Sie den Bucket-Namen mit dem bucketName-Parameter an.

Die Quelldatendateien müssen im CSV-Format vorliegen. Verwenden Sie die folgende Namenskonvention, wenn Sie sie benennen. In dieser Konvention ist schemaName das Quellschema und tableName ist der Name einer Tabelle in diesem Schema.

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

Angenommen, Ihre Datendateien befinden sich in mybucket im folgenden Amazon-S3-Pfad.

s3://mybucket/hr/employee

Zur Ladezeit nimmt AWS DMS an, dass der Name des Quellschemas hr und der Name der Quelltabelle employee ist.

Zusätzlich zu bucketName (erforderlich) können Sie optional einen bucketFolder-Parameter bereitstellen, um anzugeben, wo AWS DMS im Amazon-S3-Bucket nach Datendateien suchen soll. Wenn Sie im vorherigen Beispiel bucketFolder auf sourcedata setzen, liest AWS DMS die Datendateien im folgenden Pfad.

s3://mybucket/sourcedata/hr/employee

Sie können mithilfe der zusätzlichen Verbindungsattribute die Trennzeichen für die Spalte und die Zeile sowie den Nullwertindikator und andere Parameter festlegen. Weitere Informationen finden Sie unter Endpunkteinstellungen für Amazon S3 als Quelle für AWS DMS.

Sie können einen Bucket-Eigentümer angeben und Sniping verhindern, wenn Sie die Amazon-S3-Endpunkteinstellung ExpectedBucketOwner verwenden, wie im Folgenden gezeigt. Wenn Sie dann eine Anforderung stellen, um eine Verbindung zu testen oder eine Migration durchzuführen, gleicht S3 die Konto-ID des Bucket-Eigentümers mit dem angegebenen Parameter ab.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Definieren von externen Tabellen für Amazon S3 als Quelle für AWS DMS

Zusätzlich zu den Datendateien müssen Sie auch eine externe Tabellendefinition bereitstellen. Eine externe Tabellendefinition ist ein JSON-Dokument, in dem beschrieben wird, wie AWS DMS die Daten aus Amazon S3 interpretieren soll. Die maximale Größe dieses Dokuments ist 2 MB. Wenn Sie einen Quellendpunkt mithilfe der AWS DMS-Managementkonsole erstellen, können Sie JSON direkt in das Tabellenzuweisungsfeld eingeben. Wenn Sie die AWS Command Line Interface (AWS CLI) oder AWS DMS-API zum Durchführen von Migrationen verwenden, können Sie eine JSON-Datei zur Angabe der externen Tabellendefinition erstellen.

Angenommen, Sie haben eine Datei mit den folgenden Daten.

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

Im Folgenden sehen Sie ein Beispiel für eine externe Tabellendefinition für diese Daten.

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

In diesem JSON-Dokument sind folgende Elemente enthalten:

TableCount – die Anzahl der Quelltabellen. In diesem Beispiel es nur eine Tabelle.

Tables – ein Array bestehend aus einer JSON-Zuweisung je Quelltabelle. In diesem Beispiel es nur eine Zuweisung. Jede Zuweisung umfasst die folgenden Schlüsselelemente:

Wenn Sie nichts anderes angeben, geht AWS DMS davon aus, dass ColumnLength Null ist.

Für eine Spalte des Typs NUMERIC müssen Sie die Genauigkeit und Skalierung festlegen. Genauigkeit ist die Gesamtanzahl der Stellen in einer Zahl und Skalierung die Anzahl der Dezimalstellen. Dafür verwenden Sie die Elemente ColumnPrecision und ColumnScale, wie im Folgenden dargestellt.

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

Geben Sie für eine Spalte vom Typ DATETIME mit Daten, die Sekundenbruchteile enthalten, die Skalierung an. Skalierung ist die Anzahl der Dezimalstellen für die Sekundenbruchteile. Diese kann zwischen 0 und 9 liegen. Verwenden Sie dafür das Element ColumnScale, wie im Folgenden dargestellt.

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

Wenn Sie nichts anderes angeben, geht AWS DMS davon aus, dass ColumnScale Null ist, und die Sekundenbruchteile werden gekürzt.

Verwenden von CDC mit Amazon S3 als Quelle für AWS DMS

Nachdem AWS DMS einen vollständigen Datenladevorgang ausgeführt hat, können optional Datenänderungen für den Zielendpunkt repliziert werden. Zu diesem Zweck laden Sie Dateien zur Erfassung von Datenänderungen (Change Data Capture (CDC)-Dateien) in Ihren Amazon-S3-Bucket hoch. AWS DMS liest diese CDC-Dateien, wenn Sie sie hochladen. Anschließend werden die Änderungen für den Zielendpunkt übernommen.

Die CDC-Dateien werden wie folgt benannt:

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

Um anzugeben, wo AWS DMS die Dateien finden kann, legen Sie den Parameter cdcPath fest. Wenn Sie im vorherigen Beispiel cdcPath auf changedata setzen, liest AWS DMS die CDC-Dateien im folgenden Pfad.

s3://mybucket/changedata

Wenn Sie cdcPath auf changedata und bucketFolder auf myFolder setzen, liest AWS DMS die CDC-Dateien im folgenden Pfad.

s3://mybucket/myFolder/changedata

Die Datensätze in einer CDC-Datei werden wie folgt formatiert:

Im Folgenden sehen Sie ein Beispiel einer CDC-Datei für eine Tabelle mit dem Namen employee.

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

Voraussetzungen für die Verwendung von Amazon S3 als Quelle für AWS DMS

Wenn Sie Amazon S3 als Quelle für AWS DMS verwenden möchten, muss sich der S3-Quell-Bucket in derselben AWS-Region wie die DMS-Replikations-Instance befinden, mit der Sie Ihre Daten migrieren. Darüber hinaus muss das AWS-Konto, das Sie für die Migration verwenden, über Lesezugriff auf den Quell-Bucket verfügen.

Die dem Benutzerkonto zugewiesene AWS Identity and Access Management (IAM)-Rolle, mit der die Migrationsaufgabe erstellt wird, muss den folgenden Satz von Berechtigungen aufweisen.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Die dem Benutzerkonto zugewiesene AWS Identity and Access Management (IAM)-Rolle, mit der die Migrationsaufgabe erstellt wird, muss den folgenden Satz von Berechtigungen aufweisen, wenn die Versionsverwaltung für den Amazon-S3-Bucket aktiviert ist.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Einschränkungen bei Verwendung von Amazon S3 als Quelle für AWS DMS

Die folgenden Einschränkungen gelten bei Verwendung von Amazon S3 als Quelle:

Endpunkteinstellungen für Amazon S3 als Quelle für AWS DMS

Sie können Endpunkteinstellungen, ähnlich wie zusätzliche Verbindungsattribute, zum Konfigurieren Ihrer Amazon-S3-Quelldatenbank verwenden. Sie legen die Einstellungen fest, wenn Sie den Quellendpunkt mithilfe der AWS DMS-Konsole erstellen oder indem Sie den Befehl create-endpoint in der AWS CLI aufrufen. Verwenden Sie die JSON-Syntax --s3-settings '{"EndpointSetting": "value", ...}'.

Die folgende Tabelle zeigt die Endpunkteinstellungen, die Sie mit Amazon S3 als Quelle verwenden können.

Quelldatentypen für Amazon S3

Bei einer Datenmigration, die Amazon S3 als Quelle für AWS DMS verwendet, müssen die Daten aus Amazon S3 den AWS DMS-Datentypen zugeordnet werden. Weitere Informationen finden Sie unter Definieren von externen Tabellen für Amazon S3 als Quelle für AWS DMS.

Weitere Informationen zum Anzeigen des Datentyps, der im Ziel zugewiesen ist, finden Sie im Abschnitt für den Zielendpunkt, den Sie verwenden.

Weitere Informationen zu AWS DMS-Datentypen finden Sie unter Datentypen für den AWS Database Migration Service.

Die folgenden AWS DMS-Datentypen werden mit Amazon S3 als Quelle verwendet: