本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon S3 作為來源 AWS DMS

您可以使用從 Amazon S3 儲存貯體遷移資料 AWS DMS。若要執行此作業，請提供 Amazon S3 儲存貯體的存取權，這些儲存貯體內含一或多個資料檔案。在該 S3 儲存貯體中，包含描述資料和這些檔案之資料庫資料表間映射的 JSON 檔案。

在完全載入開始之前，Amazon S3 儲存貯體中就必須有來源資料檔案。請使用 bucketName 參數指定儲存貯體名稱。

來源資料檔案可以是下列格式：

對於逗號分隔值 (.csv) 格式的來源資料檔案，請使用下列命名慣例來命名它們。在此慣例中，schemaName 是來源結構描述，而 tableName 是該結構描述內的資料表名稱。

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

例如，假設資料檔案位在以下 Amazon S3 路徑的 mybucket。

s3://mybucket/hr/employee

在載入時， AWS DMS 假設來源結構描述名稱為hr，而來源資料表名稱為employee。

除了 bucketName (必要項目) 之外，您還可以選擇性地提供bucketFolder參數，以指定 AWS DMS 應在 Amazon S3 儲存貯體中尋找資料檔案的位置。繼續前面的範例，如果您設bucketFolder定為sourcedata，則 AWS DMS 會讀取下列路徑的資料檔案。

s3://mybucket/sourcedata/hr/employee

您可以使用額外連線屬性指定資料行分隔符號、資料列分隔符號、null 值指標和其他參數。如需詳細資訊，請參閱 將 Amazon S3 的端點設定做為下列項目的來源 AWS DMS。

您可以如下所示，使用 ExpectedBucketOwner Amazon S3 端點設定來指定儲存貯體擁有者並防止惡意攻擊。然後，當您提出測試連線或執行遷移請求時，S3 會根據指定參數檢查儲存貯體擁有者的帳戶識別碼。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

將 Amazon S3 的外部資料表定義為下列項目的來源 AWS DMS

除了資料檔案，您還必須提供外部資料表定義。外部資料表定義是一個 JSON 文件，描述 AWS DMS 應該如何解譯來自 Amazon S3 的資料。此文件大小上限為 2 MB。如果您使用 AWS DMS 管理主控台建立來源端點，則可以在表格對應方塊中直接輸入 JSON。如果您使用 AWS Command Line Interface (AWS CLI) 或 AWS DMS API 來執行移轉，您可以建立 JSON 檔案來指定外部資料表定義。

假設您的資料檔案包含以下內容。

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

以下為此資料的範例外部資料表定義。

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

此 JSON 文件的元素如下：

TableCount：來源資料表的數量。在本範例中，只有一份資料表。

Tables：由每個來源資料表一個 JSON 對應組成的陣列。在本範例中，只有一個映射。每個映射包含以下元素：

如果不指定，否則 AWS DMS 假定ColumnLength為零。

如需 NUMERIC 類型的資料行，請指定精確度和小數位數。精確度是一個數字的總位數，而小數位數是小數點右邊的位數。您針對此項使用 ColumnPrecision 和 ColumnScale 元素，如下所示。

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

對於 DATETIME 類型資料欄，如果其資料包含小數秒數，請指定小數位數。小數位數是小數秒數的位數，範圍可以從 0 到 9。如下所示，針對此項使用 ColumnScale 元素。

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

如果不指定，則 AWS DMS 假定ColumnScale為零並截斷小數秒。

使用 CDC 且以 Amazon S3 作為 AWS DMS的來源

AWS DMS 執行完整資料載入之後，它可以選擇性地將資料變更複寫到目標端點。為此，您可以將變更資料擷取檔案 (CDC 檔案) 上傳到 Amazon S3 儲存貯體。 AWS DMS 在您上傳這些 CDC 檔案時讀取這些 CDC 檔案，然後在目標端點套用變更。

CDC 檔案命名方式如下：

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

若要指出在哪裡 AWS DMS 可以找到檔案，請指定cdcPath參數。繼續之前的範例，如果您將 cdcPath 設為 changedata，則 AWS DMS 會讀取以下路徑的 CDC 檔案。

s3://mybucket/changedata

如果您將 cdcPath 設為 changedata 且將 bucketFolder 設為 myFolder，則 AWS DMS 會讀取以下路徑的 CDC 檔案。

s3://mybucket/myFolder/changedata

CDC 檔案格式的記錄格式，如下所示：

以下是 employee 資料表的範例 CDC 檔案。

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

使用 Amazon S3 做為來源時的先決條件 AWS DMS

若要使用 Amazon S3 做為來源 AWS DMS，您的來源 S3 儲存貯體必須位於與遷移資料的 DMS 複寫執行個體所在的 AWS 區域相同。此外，用於遷移的 AWS 帳戶必須有來源儲存貯體的讀取存取權。

指派給用於建立移轉任務之使用者帳戶的 AWS Identity and Access Management (IAM) 角色必須具有以下一組權限。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

如果 Amazon S3 儲存貯體已啟用版本控制，則指派給用於建立遷移任務的使用者帳戶的 AWS Identity and Access Management (IAM) 角色必須具有以下一組許可。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

使用 Amazon S3 做為來源時的限制 AWS DMS

使用 Amazon S3 作為來源時，有下列限制：

在 Amazon S3 中使用 ParQUET 格式檔案作為來源時，會套用下列限制：

將 Amazon S3 的端點設定做為下列項目的來源 AWS DMS

您可以使用端點設定來設定 Amazon S3 來源目標，類似於使用額外的連線屬性。您可以在使用 AWS DMS 主控台建立來源端點時指定設定，或使用中的create-endpoint命令以 --s3-settings '{"EndpointSetting": "value", ...}' JSON 語法指定設定。AWS CLI

下列資料表顯示您可以在將 Amazon S3 作為來源搭配使用的端點設定。

Amazon S3 的來源資料類型

使用 Amazon S3 做為來源的資料遷移，以 AWS DMS 滿足將資料從 Amazon S3 對應到 AWS DMS 資料類型的需求。如需詳細資訊，請參閱 將 Amazon S3 的外部資料表定義為下列項目的來源 AWS DMS。

如需如何檢視從目標映射的資料類型資訊，請參閱您要使用的目標端點一節。

如需有關資 AWS DMS 料類型的其他資訊，請參閱AWS Database Migration Service 的資料類型。

下列 AWS DMS 資料類型可搭配 Amazon S3 作為來源使用：

使用 Amazon S3 中的 PARQUET 格式檔案做為下列項目的來源 AWS DMS

在 3.5.3 AWS DMS 版及更新版本中，您可以使用 S3 儲存貯體中的 Parquet 格式檔案作為全負載或 CDC 複寫的來源。

DMS 僅支援 Parquet 格式檔案做為 DMS 透過將資料遷移到 S3 目標端點所產生的來源。檔案名稱必須採用支援的格式，否則 DMS 不會將其包含在移轉中。

對於 Parquet 格式的來源資料檔案，它們必須符合下列資料夾和命名慣例。

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

對於 Parquet 格式 CDC 資料的來源資料檔案，請使用下列資料夾和命名慣例命名並儲存它們。

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

若要存取 Parquet 格式的檔案，請設定下列端點設定：

如需 S3 端點設定的詳細資訊，請參閱 AWS Database Migration Service API 參考中的 S3 設定。

Parquet 格式檔案支援的資料類型

AWS DMS 從 Parquet 格式檔案移轉資料時，支援下列來源和目標資料類型。在移轉之前，請確定目標資料表具有正確資料類型的欄。