使用 Amazon S3 做為 的目標 AWS Database Migration Service

您可以從 AWS DMS 任何支援的資料庫來源，使用 將資料遷移至 Amazon S3。在 AWS DMS 任務中使用 Amazon S3 做為目標時，完全載入和變更資料擷取 (CDC) 資料預設會寫入逗號分隔值 (.csv) 格式。若要使用更精簡的儲存和更快速的查詢選項，您也可以選擇以 Apache Parquet (.parquet) 格式寫入資料。

AWS DMS 使用增量十六進位計數器命名在完全載入期間建立的檔案，例如 LOAD00001.csv、LOAD00002...、LOAD00009, LOAD0000A 等，適用於使用時間戳記的 .csv files. AWS DMS names CDC 檔案，例如 20141029-1134010000.csv。對於包含記錄的每個來源資料表， 會在指定的目標資料夾 （如果來源資料表不是空的） 下 AWS DMS 建立資料夾。 會將所有完全載入和 CDC 檔案 AWS DMS 寫入指定的 Amazon S3 儲存貯體。您可以使用 MaxFileSize 端點設定來控制 AWS DMS 建立的檔案大小。

參數 bucketFolder 包含 .csv 或 .parquet 檔案上傳到 S3 儲存貯體之前的儲存位置。就 .csv 檔案而言，資料表資料使用以下格式儲存在 S3 儲存貯體中，並顯示完全載入檔案。

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

您可以使用額外的連線屬性指定資料行分隔符號、資料列分隔符號和其他參數。有關額外連線屬性的詳細資訊，請參閱本節最後的使用 Amazon S3 做為 目標時的端點設定 AWS DMS。

您可以使用 ExpectedBucketOwner Amazon S3 端點設定指定儲存貯體擁有者並防止惡意攻擊，如下所示。然後，當您提出測試連線或執行遷移請求時，S3 會根據指定參數檢查儲存貯體擁有者的帳戶識別碼。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

當您使用 AWS DMS 複寫使用 CDC 任務的資料變更時，.csv 或 .parquet 輸出檔案的第一欄會指出資料列資料如何變更，如下列 .csv 檔案所示。

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

在此範例中，假設來源資料庫中有一個EMPLOYEE資料表。 會將資料 AWS DMS 寫入 .csv 或 .parquet 檔案，以回應下列事件：

請注意，對於 CDC， 預設會 AWS DMS 儲存每個資料庫資料表的資料列變更，而不考慮交易順序。如果您想要將資料列變更依交易順序儲存至 CDC 檔案中，則需要使用 S3 端點設定來指定此項目，以及 S3 目標上儲存 CDC 交易檔案的資料夾路徑。如需詳細資訊，請參閱在 S3 目標上包含交易順序之擷取資料變更 (CDC)。

若要控制在資料複寫任務期間寫入 Amazon S3 目標的頻率，您可以設定額外的連線屬性 cdcMaxBatchInterval 和 cdcMinFileSize。在沒有任何額外負荷操作的情況下分析資料時，此設定可使效能提升。如需詳細資訊，請參閱 使用 Amazon S3 做為 目標時的端點設定 AWS DMS

使用 Amazon S3 作為目標的事前準備

使用 Amazon S3 作為目標之前，請檢查下列條件為真：

若要設定此帳戶存取，對於用來建立遷移任務的使用者帳戶，請確定指派給此帳戶的角色具有以下許可集。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

如需使用驗證搭配 S3 作為目標的先決條件，請參閱 S3 目標驗證先決條件。

使用 Amazon S3 作為目標的限制

使用 Amazon S3 作為目標時，有下列限制：

如需了解使用驗證搭配 S3 作為目標的限制，請參閱 使用 S3 目標驗證的限制。

安全

若要使用 Amazon S3 作為目標，用於遷移的帳戶必須擁有目標 Amazon S3 儲存貯體的寫入和刪除存取權。指定具有存取 Amazon S3 所需許可的 IAM 角色的 Amazon Resource Name (ARN)。

AWS DMS 支援一組預先定義的 Amazon S3 授予，稱為固定存取控制清單 ACLs)。每個標準 ACL 都有一組承授者和許可，供您用來設定 Amazon S3 儲存貯體的許可。您可以在您 S3 目標端點的連線字串屬性中使用 cannedAclForObjects 指定固定 ACL。如需有關使用額外連線屬性 cannedAclForObjects 的詳細資訊，請參閱使用 Amazon S3 做為 目標時的端點設定 AWS DMS。如需 Amazon S3 固定 ACL 的詳細資訊，請參閱固定 ACL。

用於遷移的 IAM 角色必須能夠執行 s3:PutObjectAcl API 操作。

使用 Apache Parquet 儲存 Amazon S3 物件

逗號分隔值 (.csv) 格式是 Amazon S3 目標物件的預設儲存格式。若要使用更精簡的儲存和更快速的查詢，您可以改用 Apache Parquet (.parquet) 做為儲存格式。

Apache Parquet 是原本專為 Hadoop 設計的開放原始碼檔案儲存格式。如需 Apache Parquet 的詳細資訊，請參閱 https://parquet.apache.org/。

若要將 .parquet 設定為您遷移的 S3 目標物件的儲存格式，您可以使用以下機制：

Amazon S3 物件標記

您可以在任務-資料表映射規則中指定適當的 JSON 物件，以標記複寫執行個體建立的 Amazon S3 物件。如需 S3 物件標記的需求和選項的詳細資訊 (包括有效標籤名稱)，請參閱《Amazon Simple Storage Service 使用者指南》中的「物件標記」。如需有關使用 JSON 來映射資料表的詳細資訊，請參閱 使用 JSON 指定資料表選擇及轉換。

對於為指定的資料表和結構描述建立的 S3 物件，請使用 selection 規則類型的一或多個 JSON 物件來這些標記 S3 物件。然後，在此 selection 物件 (或多個物件) 後面，加上具有 post-processing 規則類型和 add-tag 動作的一或多個 JSON 物件。這些後續處理規則識別您要標記的 S3 物件，並針對您要新增到這些 S3 物件的標籤，指定其名稱和值。

在以下資料表中，您可以找到在 post-processing 規則類型的 JSON 物件中指定的參數。

當您指定多個 post-processing 規則類型來標記一組 S3 物件時，將會從一個後續處理規則中只使用一個 tag-set 物件來標記每個 S3 物件。如果後續處理規則相關聯的物件定位器最符合某個 S3 物件，則會使用此規則中的特定標籤組來標記該 S3 物件。

例如，假設兩個後續處理規則識別相同的 S3 物件。也假設其中一個規則的物件定位器使用萬用字元，而另一個規則的物件定位器使用完全相符來識別 S3 物件 (不含萬用字元)。在這種情況下，與採用完全相符的後續處理規則相關聯的標籤組會用來標記 S3 物件。如果多個後續處理規則都同樣符合指定的 S3 物件，則會使用與第一個後續處理規則相關聯的標籤組來標記物件。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

建立 AWS KMS 金鑰來加密 Amazon S3 目標物件

您可以建立並使用自訂 AWS KMS 金鑰來加密 Amazon S3 目標物件。在建立 KMS 金鑰之後，當您建立 S3 目標端點時，您可以使用以下其中一個方法，以此金鑰來加密物件：

若要使用 KMS 金鑰加密 Amazon S3 目標物件，您需要一個具備 Amazon S3 儲存貯體存取許可的 IAM 角色。將政策 (金鑰政策) 連接到您建立的加密金鑰，然後在該政策中存取此 IAM 角色。若要這麼做，您可以在 IAM 主控台建立下列項目：

下列程序說明作法。

現在，您已經以指定的名稱建立新政策來存取要加密的 Amazon S3 資源，例如 DMS-S3-endpoint-access。

現在，您已經以指定的名稱建立新角色，用於存取要加密的 Amazon S3 資源，例如 DMS-S3-endpoint-access-role。

您現在已使用指定的別名建立新的 KMS 金鑰 (例如，DMS-S3-endpoint-encryption-key)。此金鑰可讓 AWS DMS 加密 Amazon S3 目標物件。

使用日期型資料夾分割

AWS DMS 當您使用 Amazon S3 Amazon S3 資料夾分割區。透過日期型資料夾分割，您可以將資料從單一來源資料表寫入 S3 儲存貯體中的時間階層資料夾結構。透過在建立 S3 目標端點時分割資料夾，您可以實現下列事項：

在建立 S3 目標端點時，您可以啟用日期型資料夾分割。您可以在遷移現有資料並複寫持續的變更 (完全載入 + CDC) 或僅複寫資料變更 (僅限 CDC) 時啟用此功能。使用下列目標端點設定：

下列範例會示範如何啟用日期型的資料夾分割，並使用資料分割順序和分隔符號的預設值。它使用 . AWS CLIcreate-endpoint命令--s3-settings '{json-settings}'的選項。

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

使用 Amazon S3 做為 的目標時，分割來源的平行負載 AWS DMS

您可以設定將分割資料來源平行完全載入到 Amazon S3 目標。此方法可改善將分割資料從支援的來源資料庫引擎遷移至 S3 目標的載入時間。若要改善分割來源資料的載入時間，您可以建立對應至來源資料庫中每個資料表分割區的 S3 目標子資料夾。這些分割區繫結子資料夾允許 AWS DMS 執行平行程序，以填入目標上的每個子資料夾。

若要設定 S3 目標的平行完全載入，S3 支援資料表對應 table-settings 規則的三種 parallel-load 規則類型：

如需這些平行載入規則類型的詳細資訊，請參閱 資料表和集合設定規則與操作。

對於 partitions-auto 和 partitions-list 規則類型， AWS DMS 會使用來源端點中的每個分割區名稱來識別目標子資料夾結構，如下所示。

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

此處，用於資料遷移和儲存的 S3 目標子資料夾路徑包含一個額外的 partition_name 子資料夾，該子資料夾對應至具有相同名稱的來源分割區。此 partition_name 子資料夾隨後會儲存一個或多個 LOADseq_num.csv 檔案，其中包含遷移自指定來源分割區的資料。此處seq_num是 .csv 檔案名稱上的序號後綴，例如00000001在 .csv 檔案中，名稱為 LOAD00000001.csv。

不過，某些資料庫引擎 (例如 MongoDB 和 DocumentDB) 並沒有分割區的概念。對於這些資料庫引擎， AWS DMS 會將執行中的來源區段索引新增為目標 .csv 檔案名稱的字首，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

其中檔案 SEGMENT1_LOAD00000001.csv 和 SEGMENT1_LOAD00000002.csv 的命名會使用相同的執行中來源區段索引前綴 SEGMENT1。如此命名是因為這兩個 .csv 檔案的遷移來源資料都關聯至相同的執行中來源區段索引。另一方面，儲存在目標 SEGMENT2_LOAD00000009.csv 和 SEGMENT3_LOAD0000000A.csv 檔案中的遷移資料會分別關聯至不同的執行中來源區段索引。每個檔案都會在其檔案名稱前加上其正在執行的區段索引名稱，SEGMENT2 和 SEGMENT3。

對於 ranges 平行載入類型，您可以使用 table-settings 規則的 columns 和 boundaries 設定來定義欄名稱和欄值。透過這些規則，您可以指定與區段名稱對應的分割區，如下所示。

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

其中 segment-names 設定會定義 S3 目標上用於平行遷移資料的三個分割區名稱。遷移的資料會平行載入並依序儲存在分割區子資料夾下的 .csv 檔案中，如下所示。

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

在此， 會將一系列 .csv 檔案 AWS DMS 存放在三個分割區子資料夾中。每個分割區子資料夾中的一系列 .csv 檔案會從 LOAD00000001.csv 開始遞增命名，直到所有資料遷移完成。

在某些情況下，您可能無法使用 segment-names 設定明確命名 ranges 平行載入類型的分割區子資料夾。在這些情況下， AWS DMS 會套用在其table_name子資料夾下建立每個系列 .csv 檔案的預設值。此時 AWS DMS 會在每個系列的 .csv 檔案的檔案名稱開頭加上執行中來源區段索引的名稱，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

使用 Amazon S3 做為 目標時的端點設定 AWS DMS

您可以使用端點設定來設定您的 S3 目標資料庫，類似於使用額外的連線屬性。當您使用 AWS DMS 主控台或使用 中的 create-endpoint命令搭配 --s3-settings '{"EndpointSetting": "value", ...}' JSON 語法來建立目標端點時AWS CLI，您可以指定設定。

下列資料表顯示您可搭配 Amazon S3 作為目標使用的端點設定。

使用 AWS Glue Data Catalog 搭配 Amazon S3 目標 AWS DMS

AWS Glue 是一種 服務，提供簡單的資料分類方法，由名為 的中繼資料儲存庫組成 AWS Glue Data Catalog。您可以將 AWS Glue Data Catalog 與您的 Amazon S3 目標端點整合，並透過 Amazon Athena AWS 等其他服務查詢 Amazon S3 資料。 Amazon Athena Amazon Redshift 適用於 ， AWS Glue 但 AWS DMS 不支援該選項做為預先建置的選項。

若要產生資料目錄，請將GlueCatalogGeneration端點設定設為 true，如下列 AWS CLI 範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint 
            --engine-name s3 --endpoint-type target--s3-settings '{"ServiceAccessRoleArn": 
            "your-service-access-ARN", "BucketFolder": "your-bucket-folder", "BucketName": 
            "your-bucket-name", "DataFormat": "parquet", "GlueCatalogGeneration": true}'

對於包含 csv 類型資料的完全載入複製任務，請將 IncludeOpForFullLoad 設定為 true。

請勿將 GlueCatalogGeneration 搭配 PreserveTransactions 和 CdcPath 使用。 AWS Glue 爬蟲程式無法協調存放在指定 下檔案的不同結構描述CdcPath。

若要讓 Amazon Athena 為您的 Amazon S3 資料建立索引，以及透過 Amazon Athena 使用標準 SQL 查詢來查詢資料，連接到端點的 IAM 角色必須具有下列政策：

{
    "Version": "2012-10-17", 
    "Statement": [ 
        {
            "Effect": "Allow", 
            "Action": [
                "s3:GetBucketLocation", 
                "s3:GetObject",
                "s3:ListBucket", 
                "s3:ListBucketMultipartUploads", 
                "s3:ListMultipartUploadParts", 
                "s3:AbortMultipartUpload" 
            ], 
            "Resource": [
                "arn:aws:s3:::bucket123", 
                "arn:aws:s3:::bucket123/*" 
            ]
        },
        {
            "Effect": "Allow", 
            "Action": [ 
                "glue:CreateDatabase", 
                "glue:GetDatabase", 
                "glue:CreateTable", 
                "glue:DeleteTable", 
                "glue:UpdateTable", 
                "glue:GetTable", 
                "glue:BatchCreatePartition", 
                "glue:CreatePartition", 
                "glue:UpdatePartition", 
                "glue:GetPartition", 
                "glue:GetPartitions", 
                "glue:BatchGetPartition"
            ], 
            "Resource": [
                "arn:aws:glue:*:111122223333:catalog", 
                "arn:aws:glue:*:111122223333:database/*", 
                "arn:aws:glue:*:111122223333:table/*" 
            ]
        }, 
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution", 
                "athena:CreateWorkGroup"
            ],
            "Resource": "arn:aws:athena:*:111122223333:workgroup/glue_catalog_generation_for_task_*"
        }
    ]
}

在您的 Amazon S3 目標上使用資料加密、parquet 檔案和 CDC

您可以使用 S3 目標端點設定來設定下列項目：

AWS KMS 資料加密的金鑰設定

以下範例說明設定自訂的 KMS 金鑰，以加密您的 S3 目標物件。若要啟動，您可以執行下列 create-endpoint CLI 命令。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

其中，--s3-settings 選項指定的 JSON 物件定義兩個參數。一個是 EncryptionMode 參數，值為 SSE_KMS。另一個是 ServerSideEncryptionKmsKeyId 參數，值為 arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480。這個值是自訂 KMS 金鑰的 Amazon Resource Name (ARN)。對於 S3 目標，您還可以指定額外的設定。這些設定可識別伺服器存取角色，提供預設 CSV 物件儲存格式的分隔符號，以及提供儲存貯體位置和名稱來儲存 S3 目標物件。

在預設情況下，將使用 S3 伺服器端加密進行 S3 資料加密。對於上述範例中的 S3 目標，這也等同於指定其端點設定，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

如需使用 S3 伺服器端加密的詳細資訊，請參閱使用伺服器端加密保護資料。

關於使用 .parquet 檔案儲存 S3 目標物件的設定

建立 S3 目標物件的預設格式為 .csv 檔案。以下範例顯示一些端點設定，用於指定 .parquet 檔案做為建立 S3 目標物件的格式。您可以用所有預設值指定 .parquet 檔案格式，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

其中，DataFormat 參數設為 parquet，以所有 S3 預設值啟用此格式。這些預設值中有一種字典編碼 ("EncodingType: "rle-dictionary") 使用位元壓縮和執行長度編碼的組合，更有效率地儲存重複值。

對於預設值以外的選項，您可以新增額外的設定，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

在這種情況下，除了幾個標準 S3 儲存貯體選項的參數和 DataFormat 參數，還會設定以下額外的 .parquet 檔案參數：

在 S3 目標上包含交易順序之擷取資料變更 (CDC)

根據預設，當 AWS DMS 執行 CDC 任務時，它會將記錄於來源資料庫 （或資料庫） 的所有資料列變更存放在每個資料表的一或多個檔案中。包含相同資料表變更的每個檔案集位於與該資料表相關聯的單一目標目錄中。 會 AWS DMS 建立與遷移至 Amazon S3 目標端點的資料庫資料表一樣多的目標目錄。檔案將儲存在這些目錄的 S3 目標上，而不考慮交易順序。如需檔案命名慣例、資料內容及格式的詳細資訊，請參閱 使用 Amazon S3 做為 的目標 AWS Database Migration Service。

若要以同樣擷取交易順序的方式擷取來源資料庫變更，您可以指定 S3 端點設定，以指示 將所有資料庫資料表的資料列變更 AWS DMS 存放在根據交易大小建立的一或多個 .csv 檔案中。對於每個交易中涉及的所有資料表，這些 .csv 交易檔案包含依交易順序列出的所有資料列變更。這些交易檔案將一起存放於您同樣在 S3 目標上指定的單一交易目錄中。在每個交易檔案中，每個資料列變更的交易操作、資料庫及來源資料表的身分，將儲存為資料列資料的一部分，如下所示。

operation,table_name,database_schema_name,field_value,...

其中 operation 是已變更資料列上的交易作業，table_name 是已變更資料列的資料庫資料表名稱，database_schema_name 是資料表所在資料庫結構描述的名稱，而 field_value 是指定資料列資料的一或多個欄位值當中的第一個。

下列交易檔案的範例展示涉及兩個資料表之一或多個交易的已變更資料列。

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

在這裡，每列上的交易操作由第一欄的 I (插入)、U (更新) 或 D (刪除) 表示。第二欄的值是資料表名稱 (例如 Names_03cdcad11a)。第三欄的值是資料庫結構描述名稱 (例如 rdsTempsdb)。剩餘的欄會填入您自己的列資料 (例如 13,Daniel)。

此外， 會根據下列命名慣例，使用時間戳記 AWS DMS 來為其在 Amazon S3 目標上建立的交易檔案命名。

CDC_TXN-timestamp.csv

其中 timestamp 是建立交易檔案的時間，如下列範例所示。

CDC_TXN-20201117153046033.csv

檔案名稱中的這個時間戳記可確保當您在交易目錄中列出交易檔案時，這些檔案會依交易順序建立和列出。

若要控制在資料複寫任務期間寫入 Amazon S3 目標的頻率，您可以設定 CdcMaxBatchInterval 和 CdcMinFileSize 設定。在沒有任何額外負荷操作的情況下分析資料時，此設定可使效能提升。如需詳細資訊，請參閱 使用 Amazon S3 做為 目標時的端點設定 AWS DMS

在遷移的 S3 資料中指示來源資料庫操作

當 將記錄 AWS DMS 遷移至 S3 目標時，它可以在每個遷移的記錄中建立額外的欄位。此額外的欄位指示來源資料庫套用到記錄的操作。如何 AWS DMS 建立和設定第一個欄位取決於 includeOpForFullLoad、 和 的遷移任務類型cdcInsertsOnly和設定cdcInsertsAndUpdates。

如果完全載入的 includeOpForFullLoad 是 true， AWS DMS 一律會在每個 .csv 記錄中額外建立第一個欄位。此欄位包含字母 I (INSERT)，用來指示資料列是插入到來源資料庫。對於 CDC 負載，當 cdcInsertsOnly為 false（預設值） 時， AWS DMS 也會一律在每個 .csv 或 .parquet 記錄中建立額外的第一個欄位。此欄位包含字母 I (INSERT)、U (UPDATE) 或 D (DELETE)，用來指示來源資料庫的插入、更新或刪除資料列。

在下表中，您可以了解如何 includeOpForFullLoad 和 cdcInsertsOnly 屬性的設定如何共同運作，影響遷移記錄設定。

當 includeOpForFullLoad 和 cdcInsertsOnly 設定為相同的值，目標記錄會根據控制目前遷移類型設定記錄的屬性設定。這個屬性是 includeOpForFullLoad 用於完全載入和 cdcInsertsOnly CDC 載入。

當 includeOpForFullLoad和 cdcInsertsOnly 設定為不同的值時， AWS DMS 會讓 CDC 和完全載入的目標記錄設定一致。藉由任何先前 includeOpForFullLoad 指定的完全載入記錄，設定 CDC 載入符合記錄設定。

換言之，假設完全載入設為新增第一個欄位，用來指示插入記錄。在這種情況下，接下來的 CDC 載入設為新增第一個欄位，用來指示插入、更新或刪除記錄作為適當的來源。相反地，假設完全載入設定為 不 新增第一個欄位，用來指示插入記錄。在這種情況下，CDC 載入也設定為每個記錄不新增第一個欄位，無論來源對應的記錄操作為何。

同樣地，DMS 建立及設定額外第一個欄位的方式，取決於 includeOpForFullLoad 和 cdcInsertsAndUpdates 的設定。在下表中，您可以了解如何 includeOpForFullLoad 和 cdcInsertsAndUpdates 屬性的設定如何共同運作，以影響此格式中的遷移記錄設定。

S3 Parquet 的目標資料類型

下表顯示使用 時支援的 Parquet 目標資料類型， AWS DMS 以及來自 AWS DMS 資料類型的預設映射。

如需 AWS DMS 資料類型的詳細資訊，請參閱 AWS Database Migration Service 的資料類型。