使用 Amazon S3 作為目標 AWS Database Migration Service

您可以使用 AWS DMS 任何支援的資料庫來源將資料移轉到 Amazon S3。在 AWS DMS 任務中使用 Amazon S3 做為目標時，完整負載和變更資料擷取 (CDC) 資料預設都會寫入逗號分隔值 (.csv) 格式。若要使用更精簡的儲存和更快速的查詢選項，您也可以選擇以 Apache Parquet (.parquet) 格式寫入資料。

AWS DMS 使用增量十六進位計數器來命名在完整載入期間建立的檔案，例如 LOAD00001.csv、LOAD00002...、LOAD00009、LOAD0000A 等，適用於 .csv 檔案。 AWS DMS 使用時間戳記命名 CDC 檔案，例如 20141029-1134010000.csv。對於包含記錄的每個來源表格，在指定的目標資料夾下 AWS DMS 建立一個資料夾 (如果來源資料表不是空的)。 AWS DMS 將所有完整負載和 CDC 檔案寫入指定的 Amazon S3 儲存貯體。您可以使用MaxFileSize端點設定來控制 AWS DMS 建立的檔案大小。

參數 bucketFolder 包含 .csv 或 .parquet 檔案上傳到 S3 儲存貯體之前的儲存位置。就 .csv 檔案而言，資料表資料使用以下格式儲存在 S3 儲存貯體中，並顯示完全載入檔案。

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

您可以使用額外的連線屬性指定資料行分隔符號、資料列分隔符號和其他參數。有關額外連線屬性的詳細資訊，請參閱本節最後的使用 Amazon S3 做為目標時的端點設定 AWS DMS。

您可以使用 ExpectedBucketOwner Amazon S3 端點設定指定儲存貯體擁有者並防止惡意攻擊，如下所示。然後，當您提出測試連線或執行遷移請求時，S3 會根據指定參數檢查儲存貯體擁有者的帳戶識別碼。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

當您使 AWS DMS 用 CDC 工作複寫資料變更時，.csv 或 .store 輸出檔案的第一欄會指出如何變更列資料，如下列 .csv 檔案所示。

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

在此範例中，假設來源資料庫中有資料EMPLOYEE表。 AWS DMS 會將資料寫入 .csv 或 .store 檔案，以回應下列事件：

請注意，根據預設，CDC 會 AWS DMS 儲存每個資料庫資料表的資料列變更，而不考慮交易順序。如果您想要將資料列變更依交易順序儲存至 CDC 檔案中，則需要使用 S3 端點設定來指定此項目，以及 S3 目標上儲存 CDC 交易檔案的資料夾路徑。如需詳細資訊，請參閱 在 S3 目標上包含交易順序之擷取資料變更 (CDC)。

若要控制在資料複寫任務期間寫入 Amazon S3 目標的頻率，您可以設定額外的連線屬性 cdcMaxBatchInterval 和 cdcMinFileSize。在沒有任何額外負荷操作的情況下分析資料時，此設定可使效能提升。如需更多資訊，請參閱使用 Amazon S3 做為目標時的端點設定 AWS DMS

使用 Amazon S3 作為目標的事前準備

使用 Amazon S3 作為目標之前，請檢查下列條件為真：

若要設定此帳戶存取，對於用來建立遷移任務的使用者帳戶，請確定指派給此帳戶的角色具有以下許可集。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

如需使用驗證搭配 S3 作為目標的先決條件，請參閱 S3 目標驗證先決條件。

使用 Amazon S3 作為目標的限制

使用 Amazon S3 作為目標時，有下列限制：

如需了解使用驗證搭配 S3 作為目標的限制，請參閱 使用 S3 目標驗證的限制。

安全

若要使用 Amazon S3 作為目標，用於遷移的帳戶必須擁有目標 Amazon S3 儲存貯體的寫入和刪除存取權。指定具有存取 Amazon S3 所需許可的 IAM 角色的 Amazon Resource Name (ARN)。

AWS DMS 支援 Amazon S3 的一組預先定義授權，稱為固定存取控制清單 (ACL)。每個標準 ACL 都有一組承授者和許可，供您用來設定 Amazon S3 儲存貯體的許可。您可以在您 S3 目標端點的連線字串屬性中使用 cannedAclForObjects 指定固定 ACL。如需有關使用額外連線屬性 cannedAclForObjects 的詳細資訊，請參閱使用 Amazon S3 做為目標時的端點設定 AWS DMS。如需 Amazon S3 固定 ACL 的詳細資訊，請參閱固定 ACL。

用於遷移的 IAM 角色必須能夠執行 s3:PutObjectAcl API 操作。

使用 Apache Parquet 儲存 Amazon S3 物件

逗號分隔值 (.csv) 格式是 Amazon S3 目標物件的預設儲存格式。若要使用更精簡的儲存和更快速的查詢，您可以改用 Apache Parquet (.parquet) 做為儲存格式。

Apache Parquet 是原本專為 Hadoop 設計的開放原始碼檔案儲存格式。如需 Apache Parquet 的詳細資訊，請參閱 https://parquet.apache.org/。

若要將 .parquet 設定為您遷移的 S3 目標物件的儲存格式，您可以使用以下機制：

Amazon S3 物件標記

您可以在任務-資料表映射規則中指定適當的 JSON 物件，以標記複寫執行個體建立的 Amazon S3 物件。如需 S3 物件標記的需求和選項的詳細資訊 (包括有效標籤名稱)，請參閱《Amazon Simple Storage Service 使用者指南》中的「物件標記」。如需有關使用 JSON 來映射資料表的詳細資訊，請參閱 使用 JSON 指定資料表選擇及轉換。

對於為指定的資料表和結構描述建立的 S3 物件，請使用 selection 規則類型的一或多個 JSON 物件來這些標記 S3 物件。然後，在此 selection 物件 (或多個物件) 後面，加上具有 post-processing 規則類型和 add-tag 動作的一或多個 JSON 物件。這些後續處理規則識別您要標記的 S3 物件，並針對您要新增到這些 S3 物件的標籤，指定其名稱和值。

在以下資料表中，您可以找到在 post-processing 規則類型的 JSON 物件中指定的參數。

當您指定多個 post-processing 規則類型來標記一組 S3 物件時，將會從一個後續處理規則中只使用一個 tag-set 物件來標記每個 S3 物件。如果後續處理規則相關聯的物件定位器最符合某個 S3 物件，則會使用此規則中的特定標籤組來標記該 S3 物件。

例如，假設兩個後續處理規則識別相同的 S3 物件。也假設其中一個規則的物件定位器使用萬用字元，而另一個規則的物件定位器使用完全相符來識別 S3 物件 (不含萬用字元)。在這種情況下，與採用完全相符的後續處理規則相關聯的標籤組會用來標記 S3 物件。如果多個後續處理規則都同樣符合指定的 S3 物件，則會使用與第一個後續處理規則相關聯的標籤組來標記物件。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

建立加 AWS KMS 密 Amazon S3 目標物件的金鑰

您可以建立和使用自訂 AWS KMS 金鑰來加密 Amazon S3 目標物件。在建立 KMS 金鑰之後，當您建立 S3 目標端點時，您可以使用以下其中一個方法，以此金鑰來加密物件：

若要使用 KMS 金鑰加密 Amazon S3 目標物件，您需要一個具備 Amazon S3 儲存貯體存取許可的 IAM 角色。將政策 (金鑰政策) 連接到您建立的加密金鑰，然後在該政策中存取此 IAM 角色。若要這麼做，您可以在 IAM 主控台建立下列項目：

下列程序說明作法。

現在，您已經以指定的名稱建立新政策來存取要加密的 Amazon S3 資源，例如 DMS-S3-endpoint-access。

現在，您已經以指定的名稱建立新角色，用於存取要加密的 Amazon S3 資源，例如 DMS-S3-endpoint-access-role。

您現在已使用指定的別名建立新的 KMS 金鑰 (例如，DMS-S3-endpoint-encryption-key)。此金鑰可讓您 AWS DMS 加密 Amazon S3 目標物件。

使用日期型資料夾分割

AWS DMS 當您使用 Amazon S3 做為目標端點時，根據交易提交日期支援 S3 資料夾分割。透過日期型資料夾分割，您可以將資料從單一來源資料表寫入 S3 儲存貯體中的時間階層資料夾結構。透過在建立 S3 目標端點時分割資料夾，您可以實現下列事項：

在建立 S3 目標端點時，您可以啟用日期型資料夾分割。您可以在遷移現有資料並複寫持續的變更 (完全載入 + CDC) 或僅複寫資料變更 (僅限 CDC) 時啟用此功能。使用下列目標端點設定：

下列範例會示範如何啟用日期型的資料夾分割，並使用資料分割順序和分隔符號的預設值。它會使用的--s3-settings '{json-settings}'選項 AWS CLI。 create-endpoint指令。

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

使用 Amazon S3 做為目標時，分區來源的平行負載 AWS DMS

您可以設定將分割資料來源平行完全載入到 Amazon S3 目標。此方法可改善將分割資料從支援的來源資料庫引擎遷移至 S3 目標的載入時間。若要改善分割來源資料的載入時間，您可以建立對應至來源資料庫中每個資料表分割區的 S3 目標子資料夾。這些繫結磁碟分割的子資料夾 AWS DMS 允許執行 parallel 處理程序，以填入目標上的每個子資料夾。

若要設定 S3 目標的平行完全載入，S3 支援資料表對應 table-settings 規則的三種 parallel-load 規則類型：

如需這些平行載入規則類型的詳細資訊，請參閱 資料表和集合設定規則與操作。

對於 partitions-auto 和 partitions-list 規則類型， AWS DMS 會使用來源端點中的每個分割區名稱來識別目標子資料夾結構，如下所示。

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

此處，用於資料遷移和儲存的 S3 目標子資料夾路徑包含一個額外的 partition_name 子資料夾，該子資料夾對應至具有相同名稱的來源分割區。此 partition_name 子資料夾隨後會儲存一個或多個 LOADseq_num.csv 檔案，其中包含遷移自指定來源分割區的資料。此處seq_num是 .csv 檔案名稱上的序號後綴，例如00000001在 .csv 檔案中，名稱為 LOAD00000001.csv。

不過，某些資料庫引擎 (例如 MongoDB 和 DocumentDB) 並沒有分割區的概念。對於這些資料庫引擎， AWS DMS 將執行中的來源區段索引作為字首加入至目標 .csv 檔案名稱，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

其中檔案 SEGMENT1_LOAD00000001.csv 和 SEGMENT1_LOAD00000002.csv 的命名會使用相同的執行中來源區段索引前綴 SEGMENT1。如此命名是因為這兩個 .csv 檔案的遷移來源資料都關聯至相同的執行中來源區段索引。另一方面，儲存在目標 SEGMENT2_LOAD00000009.csv 和 SEGMENT3_LOAD0000000A.csv 檔案中的遷移資料會分別關聯至不同的執行中來源區段索引。每個檔案都會在其檔案名稱前加上其正在執行的區段索引名稱，SEGMENT2 和 SEGMENT3。

對於 ranges 平行載入類型，您可以使用 table-settings 規則的 columns 和 boundaries 設定來定義欄名稱和欄值。透過這些規則，您可以指定與區段名稱對應的分割區，如下所示。

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

其中 segment-names 設定會定義 S3 目標上用於平行遷移資料的三個分割區名稱。遷移的資料會平行載入並依序儲存在分割區子資料夾下的 .csv 檔案中，如下所示。

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

在這裡，將一系列 .csv 文件 AWS DMS 存儲在三個分區子文件夾中的每個文件夾中。每個分割區子資料夾中的一系列 .csv 檔案會從 LOAD00000001.csv 開始遞增命名，直到所有資料遷移完成。

在某些情況下，您可能無法使用 segment-names 設定明確命名 ranges 平行載入類型的分割區子資料夾。在這種情況下，會 AWS DMS 套用預設值，以便在其table_name子資料夾下建立每一系列 .csv 檔案。此時 AWS DMS 會在每個系列的 .csv 檔案的檔案名稱開頭加上執行中來源區段索引的名稱，如下所示。

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

使用 Amazon S3 做為目標時的端點設定 AWS DMS

您可以使用端點設定來設定您的 S3 目標資料庫，類似於使用額外的連線屬性。您可以在使用 AWS DMS 主控台建立目標端點時指定設定，或使用中的create-endpoint命令以 --s3-settings '{"EndpointSetting": "value", ...}' JSON 語法指定設定。AWS CLI

下列資料表顯示您可搭配 Amazon S3 作為目標使用的端點設定。

AWS Glue Data Catalog 與 Amazon S3 目標一起使用 AWS DMS

AWS Glue 是一項提供簡單方法來分類資料的服務，其中包含稱為 AWS Glue Data Catalog. 您可以 AWS Glue Data Catalog 與 Amazon S3 目標端點整合，並透過其他 AWS 服務 (例如亞馬遜雅典娜) 查詢 Amazon S3 資料。Amazon Redshift 可以使用， AWS Glue 但 AWS DMS 不支持它作為預構建的選項。

若要產生資料目錄，請將GlueCatalogGeneration端點設定設定為true， AWS CLI 如以下範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint 
            --engine-name s3 --endpoint-type target--s3-settings '{"ServiceAccessRoleArn": 
            "your-service-access-ARN", "BucketFolder": "your-bucket-folder", "BucketName": 
            "your-bucket-name", "DataFormat": "parquet", "GlueCatalogGeneration": true}'

對於包含 csv 類型資料的完全載入複製任務，請將 IncludeOpForFullLoad 設定為 true。

請勿將 GlueCatalogGeneration 搭配 PreserveTransactions 和 CdcPath 使用。 AWS Glue 爬行者程式無法協調儲存在指定之下的檔案的不同結構描述。CdcPath

若要讓 Amazon Athena 為您的 Amazon S3 資料建立索引，以及透過 Amazon Athena 使用標準 SQL 查詢來查詢資料，連接到端點的 IAM 角色必須具有下列政策：

{
    "Version": "2012-10-17", 
    "Statement": [ 
        {
            "Effect": "Allow", 
            "Action": [
                "s3:GetBucketLocation", 
                "s3:GetObject",
                "s3:ListBucket", 
                "s3:ListBucketMultipartUploads", 
                "s3:ListMultipartUploadParts", 
                "s3:AbortMultipartUpload" 
            ], 
            "Resource": [
                "arn:aws:s3:::bucket123", 
                "arn:aws:s3:::bucket123/*" 
            ]
        },
        {
            "Effect": "Allow", 
            "Action": [ 
                "glue:CreateDatabase", 
                "glue:GetDatabase", 
                "glue:CreateTable", 
                "glue:DeleteTable", 
                "glue:UpdateTable", 
                "glue:GetTable", 
                "glue:BatchCreatePartition", 
                "glue:CreatePartition", 
                "glue:UpdatePartition", 
                "glue:GetPartition", 
                "glue:GetPartitions", 
                "glue:BatchGetPartition"
            ], 
            "Resource": [
                "arn:aws:glue:*:111122223333:catalog", 
                "arn:aws:glue:*:111122223333:database/*", 
                "arn:aws:glue:*:111122223333:table/*" 
            ]
        }, 
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution", 
                "athena:CreateWorkGroup"
            ],
            "Resource": "arn:aws:athena:*:111122223333:workgroup/glue_catalog_generation_for_task_*"
        }
    ]
}

在您的 Amazon S3 目標上使用資料加密、parquet 檔案和 CDC

您可以使用 S3 目標端點設定來設定下列項目：

AWS KMS 資料加密的金鑰設定

以下範例說明設定自訂的 KMS 金鑰，以加密您的 S3 目標物件。若要啟動，您可以執行下列 create-endpoint CLI 命令。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

其中，--s3-settings 選項指定的 JSON 物件定義兩個參數。一個是 EncryptionMode 參數，值為 SSE_KMS。另一個是 ServerSideEncryptionKmsKeyId 參數，值為 arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480。這個值是自訂 KMS 金鑰的 Amazon Resource Name (ARN)。對於 S3 目標，您還可以指定額外的設定。這些設定可識別伺服器存取角色，提供預設 CSV 物件儲存格式的分隔符號，以及提供儲存貯體位置和名稱來儲存 S3 目標物件。

在預設情況下，將使用 S3 伺服器端加密進行 S3 資料加密。對於上述範例中的 S3 目標，這也等同於指定其端點設定，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

如需使用 S3 伺服器端加密的詳細資訊，請參閱使用伺服器端加密保護資料。

關於使用 .parquet 檔案儲存 S3 目標物件的設定

建立 S3 目標物件的預設格式為 .csv 檔案。以下範例顯示一些端點設定，用於指定 .parquet 檔案做為建立 S3 目標物件的格式。您可以用所有預設值指定 .parquet 檔案格式，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

其中，DataFormat 參數設為 parquet，以所有 S3 預設值啟用此格式。這些預設值中有一種字典編碼 ("EncodingType: "rle-dictionary") 使用位元壓縮和執行長度編碼的組合，更有效率地儲存重複值。

對於預設值以外的選項，您可以新增額外的設定，如下列範例所示。

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "CompressionType": "GZIP", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

在這種情況下，除了幾個標準 S3 儲存貯體選項的參數和 DataFormat 參數，還會設定以下額外的 .parquet 檔案參數：

在 S3 目標上包含交易順序之擷取資料變更 (CDC)

根據預設，當 AWS DMS 執行 CDC 工作時，它會將來源資料庫 (或資料庫) 中記錄的所有資料列變更儲存在每個資料表的一或多個檔案中。每組包含相同資料表變更的檔案都位於與該表格關聯的單一目標目錄中。 AWS DMS 當資料庫表格移轉至 Amazon S3 目標端點時，建立的目標目錄數量相同。檔案將儲存在這些目錄的 S3 目標上，而不考慮交易順序。如需檔案命名慣例、資料內容及格式的詳細資訊，請參閱 使用 Amazon S3 作為目標 AWS Database Migration Service。

若要以同時擷取交易順序的方式擷取來源資料庫變更，您可以指定 S3 端點設定， AWS DMS 將所有資料庫表格的資料列變更存放在一或多個根據交易大小建立的 .csv 檔案中。對於每個交易中涉及的所有資料表，這些 .csv 交易檔案包含依交易順序列出的所有資料列變更。這些交易檔案將一起存放於您同樣在 S3 目標上指定的單一交易目錄中。在每個交易檔案中，每個資料列變更的交易操作、資料庫及來源資料表的身分，將儲存為資料列資料的一部分，如下所示。

operation,table_name,database_schema_name,field_value,...

其中 operation 是已變更資料列上的交易作業，table_name 是已變更資料列的資料庫資料表名稱，database_schema_name 是資料表所在資料庫結構描述的名稱，而 field_value 是指定資料列資料的一或多個欄位值當中的第一個。

下列交易檔案的範例展示涉及兩個資料表之一或多個交易的已變更資料列。

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

在這裡，每列上的交易操作由第一欄的 I (插入)、U (更新) 或 D (刪除) 表示。第二欄的值是資料表名稱 (例如 Names_03cdcad11a)。第三欄的值是資料庫結構描述名稱 (例如 rdsTempsdb)。剩餘的欄會填入您自己的列資料 (例如 13,Daniel)。

此外，根據下列命 AWS DMS 名慣例，使用時間戳記為其在 Amazon S3 目標上建立的交易檔案命名。

CDC_TXN-timestamp.csv

其中 timestamp 是建立交易檔案的時間，如下列範例所示。

CDC_TXN-20201117153046033.csv

檔案名稱中的這個時間戳記可確保當您在交易目錄中列出交易檔案時，這些檔案會依交易順序建立和列出。

若要控制在資料複寫任務期間寫入 Amazon S3 目標的頻率，您可以設定 CdcMaxBatchInterval 和 CdcMinFileSize 設定。在沒有任何額外負荷操作的情況下分析資料時，此設定可使效能提升。如需更多資訊，請參閱使用 Amazon S3 做為目標時的端點設定 AWS DMS

在遷移的 S3 資料中指示來源資料庫操作

將記錄 AWS DMS 遷移到 S3 目標時，它可以在每個遷移記錄中建立一個額外的欄位。此額外的欄位指示來源資料庫套用到記錄的操作。 AWS DMS 建立和設定第一個欄位的方式取決於includeOpForFullLoad、cdcInsertsOnly和的移轉任務類型和設定cdcInsertsAndUpdates。

如果完全載入的 includeOpForFullLoad 是 true， AWS DMS 一律會在每個 .csv 記錄中額外建立第一個欄位。此欄位包含字母 I (INSERT)，用來指示資料列是插入到來源資料庫。對於 CDC 負載 false (預設值) 時cdcInsertsOnly， AWS DMS 也一律會在每個 .csv 或 .store 記錄中建立額外的第一個欄位。此欄位包含字母 I (INSERT)、U (UPDATE) 或 D (DELETE)，用來指示來源資料庫的插入、更新或刪除資料列。

在下表中，您可以了解如何 includeOpForFullLoad 和 cdcInsertsOnly 屬性的設定如何共同運作，影響遷移記錄設定。

當 includeOpForFullLoad 和 cdcInsertsOnly 設定為相同的值，目標記錄會根據控制目前遷移類型設定記錄的屬性設定。這個屬性是 includeOpForFullLoad 用於完全載入和 cdcInsertsOnly CDC 載入。

當includeOpForFullLoad和cdcInsertsOnly設定為不同的值時， AWS DMS 使 CDC 和滿載的目標記錄設定保持一致。藉由任何先前 includeOpForFullLoad 指定的完全載入記錄，設定 CDC 載入符合記錄設定。

換言之，假設完全載入設為新增第一個欄位，用來指示插入記錄。在這種情況下，接下來的 CDC 載入設為新增第一個欄位，用來指示插入、更新或刪除記錄作為適當的來源。相反地，假設完全載入設定為 不 新增第一個欄位，用來指示插入記錄。在這種情況下，CDC 載入也設定為每個記錄不新增第一個欄位，無論來源對應的記錄操作為何。

同樣地，DMS 建立及設定額外第一個欄位的方式，取決於 includeOpForFullLoad 和 cdcInsertsAndUpdates 的設定。在下表中，您可以了解如何 includeOpForFullLoad 和 cdcInsertsAndUpdates 屬性的設定如何共同運作，以影響此格式中的遷移記錄設定。

S3 Parquet 的目標資料類型

下表顯示使用時支援的 Parquet 目標資料類型，以 AWS DMS 及來自 AWS DMS 資料類型的預設對映。

如需有關資 AWS DMS 料類型的其他資訊，請參閱AWS Database Migration Service 的資料類型。