

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 執行大型資料遷移 AWS DataSync
<a name="datasync-large-migration"></a>

大規模資料遷移可以涉及傳輸大量資料，其中包含數百萬個檔案或各種格式的物件。 透過管理排程、監控、加密和資料驗證來 AWS DataSync 簡化這些複雜的傳輸。

## 什麼是大型資料遷移？
<a name="datasync-large-migration-definition"></a>

大型資料遷移通常涉及將 TB 或更多跨各種來源分散的資料傳輸至新的目的地儲存環境 （在此情況下為 AWS)。這些遷移需要在您的組織內仔細規劃和協調，才能成功移動資料，同時將業務中斷降至最低。

DataSync 可以簡化這些遷移，通常本質上很複雜。使用 DataSync 進行遷移的一些優點包括：
+ 自動化管理資料傳輸程序，以及高效能和安全資料傳輸所需的基礎設施。
+ End-to-end安全性，包括加密和資料完整性驗證，可協助確保您的資料安全、完整且隨時可用。
+ 專用網路通訊協定和平行多執行緒架構，可加速遷移。

## 大型資料遷移的關鍵階段
<a name="datasync-large-migration-stages"></a>

您通常可以將大型遷移細分為下列階段：
+ **（階段 1) 規劃資料遷移** - 在此階段，您嘗試了解遷移的原因，以及正在使用的資料類型。規劃活動包括：
  + 了解您要遷移的原因 
  + 組成一個團隊，協助您處理遷移的所有層面。
  + 識別資料位置、格式和使用模式
  + 評估可用的硬體資源和網路需求 （如果您要從內部部署資料中心遷移）
  + 使用 DataSync 執行概念驗證 (POC) 測試，以估算遷移時間表、規劃切換時段，並了解您需要如何設定 DataSync
+ **（階段 2) 實作大型資料遷移** - 此時，您要驗證計畫並開始遷移。實作活動包括：
  + 驗證遷移計畫
  + 執行分階段切換，包括如預期監控和驗證資料傳輸
  + 在每個切換之間視需要最佳化和調整
  + 完成後清除未使用的資源

## 其他資源
<a name="review-migration-data-resources"></a>

AWS 方案指引具有下列資源，可協助您規劃和實作大型遷移。使用本指南了解 DataSync 如何在常見的遷移程序和活動環境中運作。
+ [大型遷移至 AWS 雲端](https://aws.amazon.com/prescriptive-guidance/large-migrations/?large-migration-strategies.sort-by=item.additionalFields.sortText&large-migration-strategies.sort-order=desc&large-migration-playbooks.sort-by=item.additionalFields.sortText&large-migration-playbooks.sort-order=desc&large-migration-patterns.sort-by=item.additionalFields.sortText&large-migration-patterns.sort-order=desc)
+ [AWS 大型遷移的策略和最佳實務](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/welcome.html)
+ [在 AWS 大型遷移中遷移共用檔案系統](https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/migrate-shared-file-systems-in-an-aws-large-migration.html) – 此資源包含 **SFS-Discovery-Workbook**，您可以在檔案共用層級下載並用來規劃遷移。

# 階段 1：規劃您的大型資料遷移
<a name="datasync-large-migraton-stage-1"></a>

遷移大型資料集時，規劃至關重要。您必須了解您要遷移的資料、遷移的動機，以及 AWS DataSync 如何協助您將資料送達您想要的位置。

**Topics**
+ [收集遷移的需求](gathering-migration-requirements.md)
+ [執行 DataSync 概念驗證](datasync-large-migration-poc.md)
+ [估算遷移時間表](datasync-large-migration-timelines.md)

# 收集遷移的需求
<a name="gathering-migration-requirements"></a>

大型資料遷移的第一步需要在整個組織中收集各種資訊。

此資訊可協助您建立遷移[程序](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/process.html)，其中對於大型遷移，可以包含多個傳輸和程序，以將操作 （在[批次](https://docs.aws.amazon.com/prescriptive-guidance/latest/application-portfolio-assessment-guide/wave-planning.html)中完成） 從來源縮減至目的地儲存體。

## 了解您要遷移的原因
<a name="define-migration-goals-why"></a>

在開始遷移至 之前 AWS，您需要清楚地了解遷移資料的原因。這有助於解決常見的遷移挑戰，例如滿足截止日期、管理資源以及跨團隊協調。

如果您需要協助判斷遷移的動機，請回答下列問題：
+ 您要釋放內部部署儲存空間嗎？
+ 您是否符合硬體支援合約截止日期？
+ 這是用於資料中心退出嗎？
+ 您的遷移時間表為何？
+ 您是否從其他雲端儲存傳輸資料？
+ 您要遷移部分或完整的資料集？
+ 這是用於資料封存嗎？
+ 應用程式或使用者是否需要定期存取此資料？

## 找出物流
<a name="define-migration-goals-logistics"></a>

解決儲存環境、遷移和組織的一些基本物流：

1. 了解您目前的資料儲存基礎設施。

1. 確認是否需要 [DataSync 代理程式](do-i-need-datasync-agent.md)。例如，如果您要從內部部署儲存體傳輸，則需要 代理程式。

1. 如果您需要客服人員，請確定您了解[客服人員的需求](agent-requirements.md)：
   + 代理程式可以做為虛擬機器 (VM) 在 VMware ESXi、Linux 核心型虛擬機器 (KVM) 和 Microsoft Hyper-V Hypervisor 上執行。您也可以將代理程式部署為其中的 Amazon EC2 執行個體 AWS。
   + 大型遷移通常需要大量記憶體。請確定您的代理程式有足夠的 RAM。

1. 從您的領導層、聯網、儲存和 IT 部門識別需要參與遷移的關鍵利益相關者。其中包括：
   + 尋找專用於專案及其結果的[單一執行緒領導者](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/people.html)。
   + 決定您要遷移的資料所有權和分類的負責人。
   + 識別誰管理您的來源，以及誰最終將管理您要遷移的 AWS 儲存服務。
   + 了解資料進入後，誰將為您的資料建立和管理任何其他程序 AWS。

1. 建立跨部門通訊管道。

1. 建立應變的復原計畫。

1. 記錄完整的遷移程序，包括波浪、驗證和切換程序。將此做為整個遷移的 Runbook。您將在規劃和實作遷移時更新此程序。

## 檢閱您要遷移的資料
<a name="review-migration-data"></a>

與您的儲存和應用程式團隊合作，分析您要遷移的資料特性。此資訊可協助您判斷可使用 DataSync 執行的遷移策略。

**Contents**
+ [判斷資料用量模式](#review-migration-data-usage)
+ [識別資料結構和配置](#review-migration-data-structure)
+ [記錄共用和資料夾](#review-migration-data-document-shares)
+ [分析檔案大小](#review-migration-data-file-sizes)

### 判斷資料用量模式
<a name="review-migration-data-usage"></a>
+ 對於經常修改的主動使用資料，請規劃多個增量傳輸波，以避免中斷業務營運。
+ 對於可能被視為封存的唯讀資料，您可能不需要規劃波浪。
+ 如果您有混用的資料用量模式，請規劃分別遷移這些不同資料集的波紋。例如，您可能有一個用於封存資料的波，其餘波則專用於遷移作用中的資料。

### 識別資料結構和配置
<a name="review-migration-data-structure"></a>
+ 判斷資料是依時段 （年、月、日） 或其他模式進行組織。
+ 使用此組織結構來規劃遷移波紋。例如，您可以在一波期間遷移一年的封存資料。

### 記錄共用和資料夾
<a name="review-migration-data-document-shares"></a>
+ 建立共享和資料夾的庫存 （包括每個 的檔案或物件計數）。
+ 識別具有作用中資料集的共用和資料夾。這些可能需要在遷移期間進行增量傳輸。
+ 檢閱 [DataSync 配額](datasync-limits.md)。這可協助您規劃如何在設定 DataSync 時分割資料集。

### 分析檔案大小
<a name="review-migration-data-file-sizes"></a>
+ 與較小檔案 (KB) 相比，使用較大檔案 (MB 或 GB) 傳輸的資料輸送量預期更高。
+ 如果您使用的是許多較小的檔案， 預期您的儲存系統會有更多的中繼資料操作，並降低資料輸送量。DataSync 會在比較和驗證來源和目的地位置時執行這些操作。

## 識別儲存需求
<a name="determine-storage-requirements"></a>

若要選擇相容的 AWS 儲存服務來遷移資料，您需要評估來源儲存系統的特性和效能。

此資訊也可以協助您[排程傳輸](task-scheduling.md)，將遷移期間對業務營運的影響降至最低。

**Contents**
+ [判斷來源儲存支援](#determine-storage-requirements-protocols)
+ [檢閱中繼資料保留需求](#determine-storage-requirements-metadata)
+ [從來源儲存體收集效能指標](#determine-storage-requirements-performance)
+ [選擇目的地 AWS 儲存服務](#determine-storage-requirements-destination)

### 判斷來源儲存支援
<a name="determine-storage-requirements-protocols"></a>

DataSync 可以使用各種儲存系統，允許透過 NFS、SMB、HDFS 和 S3 相容物件儲存用戶端進行存取。

如果您要從其他雲端儲存體遷移，請確認 DataSync 可以與該提供者搭配使用。如需支援的來源位置清單，請參閱 [我可以將資料傳輸到哪裡 AWS DataSync？](working-with-locations.md)

### 檢閱中繼資料保留需求
<a name="determine-storage-requirements-metadata"></a>

DataSync 可以在傳輸期間保留您的檔案或物件中繼資料。中繼資料的保留方式取決於您的傳輸位置，以及這些位置是否使用類似的中繼資料類型。

在某些情況下，DataSync 需要額外的許可來保留檔案中繼資料，例如 NTFS 選擇性存取清單 DACLs)。

如需詳細資訊，請參閱[了解 DataSync 如何處理檔案和物件中繼資料](metadata-copied.md)。

### 從來源儲存體收集效能指標
<a name="determine-storage-requirements-performance"></a>

在來源儲存體的平均和尖峰工作負載期間測量基準 IOPS 和磁碟輸送量。傳輸資料會將 I/O 額外負荷新增至來源和目的地儲存系統。

將此效能資料與儲存系統的規格進行比較，以判斷可用的效能資源。

### 選擇目的地 AWS 儲存服務
<a name="determine-storage-requirements-destination"></a>

此時，您可能知道 AWS 儲存服務對資料有何意義。如果沒有，資料使用模式和儲存效能是決定時需要考慮的幾個領域。例如，如果您有封存資料和作用中資料的 Amazon FSx 或 Amazon EFS，您可能會考慮 Amazon S3。

為了協助您為資料決定正確的物件或檔案型儲存，請參閱[選擇 AWS 儲存服務](https://docs.aws.amazon.com/decision-guides/latest/storage-on-aws-how-to-choose/choosing-aws-storage-service.html)。

## 判斷網路需求
<a name="datasync-migration-network-requirements"></a>

若要使用 DataSync 遷移資料，您必須在來源儲存體、代理程式和 之間建立網路連線 AWS。您也需要規劃足夠的網路頻寬和基礎設施。

與您的網路工程師和儲存管理員合作，收集下列網路需求。

**Contents**
+ [評估可用的網路頻寬](#datasync-migration-network-bandwidth)
+ [考慮將網路連線至 的選項 AWS](#datasync-migration-network-connection-options)
+ [選擇客服人員通訊的服務端點](#datasync-migration-network-service-endpoint)
+ [規劃足夠的網路基礎設施](#datasync-migration-network-interfaces)

### 評估可用的網路頻寬
<a name="datasync-migration-network-bandwidth"></a>

您的可用網路頻寬會考慮傳輸速度和整體遷移時間。如果您要從內部部署儲存系統傳輸，請執行下列動作：
+ 與您的網路團隊合作，判斷平均和尖峰頻寬使用率。
+ 識別您何時可以傳輸資料並避免中斷日常操作的時段。這將通知遷移波紋和切換何時發生。

您可以控制 DataSync 使用的頻寬。如需詳細資訊，請參閱[設定 AWS DataSync 任務的頻寬限制](configure-bandwidth.md)。

由於來自其他雲端儲存體的傳輸通常透過公有網際網路進行，因此這些傳輸的頻寬限制和考量通常較少。

### 考慮將網路連線至 的選項 AWS
<a name="datasync-migration-network-connection-options"></a>

請考慮下列選項，為您的 DataSync 傳輸建立網路連線：
+ **Direct Connect** - 檢閱搭配 DataSync 使用 Direct Connect 的[架構和路由範例](direct-connect-architecture.md)。您可以使用 [Amazon CloudWatch](https://docs.aws.amazon.com/directconnect/latest/UserGuide/monitoring-cloudwatch.html) 監控 Direct Connect 活動。
+ **VPN** - 每個通道[AWS Site-to-Site VPN](https://docs.aws.amazon.com/vpn/latest/s2svpn/VPC_VPN.html)提供高達 1.25 Gbps 的輸送量。
+ **公有網際網路** - 請聯絡您的網際網路服務供應商以取得網路用量資料。

### 選擇客服人員通訊的服務端點
<a name="datasync-migration-network-service-endpoint"></a>

DataSync 代理程式使用[服務端點](choose-service-endpoint.md)與 DataSync 服務通訊。您使用的端點類型取決於您為網路連線到 的方式 AWS。

### 規劃足夠的網路基礎設施
<a name="datasync-migration-network-interfaces"></a>

對於您建立的每個傳輸任務，DataSync 會自動產生和管理資料傳輸的網路基礎設施。此基礎設施稱為*網路界面*或*彈性網路界面*，這些界面是 Amazon Virtual Private Cloud (VPC) 中代表虛擬網路卡的邏輯聯網元件。如需詳細資訊，請參閱 [https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html)。

每個網路界面都會在您的目的地 VPC 子網路中使用單一 IP 地址。為了確保您有足夠的網路基礎設施進行遷移，請執行下列動作：
+ 請注意DataSync 將為 DataSync 目的地位置建立[的網路介面](required-network-interfaces.md)數量。
+ 請確定子網路有足夠的 IP 地址可供 DataSync 任務使用。例如，使用 代理程式的任務需要四個 IP 地址。如果您為遷移建立四個任務，這表示您需要子網路中 16 個可用的 IP 地址。

# 執行 DataSync 概念驗證
<a name="datasync-large-migration-poc"></a>

使用 執行概念驗證 (POC) AWS DataSync 可協助您驗證資料遷移規劃的下列層面：
+ 驗證來源和目的地位置之間的網路連線。
+ 驗證您的初始 DataSync 任務組態。
+ 測量資料傳輸效能。
+ 估算遷移時間表。
+ 與處理遷移的關鍵利益相關者定義成功條件。

## 開始使用您的概念驗證
<a name="datasync-large-migration-poc-getting-started"></a>

1. 建立 DataSync 代理程式：

   1. [部署您的代理程式](deploy-agents.md)。

   1. 為您的代理[程式選擇服務端點](choose-service-endpoint.md)。

   1. [啟用您的代理程式](activate-agent.md)。

   1. [驗證客服人員的網路連線](test-agent-connections.md)。

1. 選取代表您要遷移之資料的一小部分資料。

   例如，如果您的來源儲存體混合了大型和小型檔案，您在 POC 中傳輸的資料子集應該會反映這一點。這可讓您初步了解儲存系統、網路和 DataSync 的效能。

1. 為您的[內部部署](transferring-on-premises-storage.md)[或其他雲端](transferring-other-cloud-storage.md)儲存系統建立 DataSync 來源位置。

1. 為您的[AWS 儲存服務](transferring-aws-storage.md)建立 DataSync 目的地位置。

1. [使用僅傳輸資料子集的篩選條件來建立 DataSync 傳輸任務](create-task-how-to.md)。 [使用篩選條件傳輸特定檔案、物件和資料夾](filtering.md)

1. [啟動 DataSync 任務](run-task.md)。

1. 透過監控下列項目來收集傳輸效能指標：
   + 任務執行的資料和檔案輸送量。您可以透過 DataSync 主控台或 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 操作執行此操作。如果您使用 `DescribeTaskExecution`，以下是計算這些指標的方式：
     + **資料輸送量**：除`BytesWritten`以 `TransferDuration`
     + **檔案輸送量**：除`FilesTransferred`以 `TransferDuration`
   + 來源和目的地儲存體使用率。與您的儲存管理員緊密合作以取得此資訊。
   + 網路用量。

1. 驗證目的地位置的傳輸資料：
   + 檢閱您的 CloudWatch 日誌是否有任務執行錯誤。
   + 確認已在目的地位置保留許可和中繼資料。
   + 確認應用程式和使用者可以如預期存取目的地資料。
   + 解決您遇到的任何問題。如需詳細資訊，請參閱[故障診斷 AWS DataSync 問題](troubleshooting-datasync.md)。

1. 再執行任務幾次，以了解 DataSync 準備、傳輸和驗證資料所需的時間。(如需詳細資訊，請參閱 [任務執行狀態](run-task.md#understand-task-execution-statuses)。)

   如果您執行任務多次，DataSync 預設會執行增量傳輸，並僅複製從先前任務執行變更的資料。

   雖然增量傳輸的傳輸時間可能較短，但 DataSync 一律會掃描並比較您的位置以識別要傳輸的內容，以相同的方式準備傳輸。您可以使用這些準備時間來[預估遷移的切換時間表](datasync-large-migration-timelines.md#datasync-large-migration-cutover-timelines)。

1. 如有需要，請根據您在 POC 期間學到的內容更新遷移計畫。

# 估算遷移時間表
<a name="datasync-large-migration-timelines"></a>

使用您到目前為止所收集的資訊，您可以預估遷移使用的時間長度 AWS DataSync。

## 預估資料傳輸時間表
<a name="datasync-large-migration-transfer-timelines"></a>

您可以根據在遷移需求收集期間收集的下列資訊，以及 DataSync 概念驗證 (POC)，預估 DataSync 傳輸資料所需的時間： DataSync 
+ 您的[可用網路頻寬](gathering-migration-requirements.md#datasync-migration-network-bandwidth)
+ 來源和目的地儲存使用率指標
+ 來自 [DataSync POC ](datasync-large-migration-poc.md)的效能指標

**預估資料傳輸時間軸**

1. 比較 POC 的資料和檔案輸送量與可用的網路頻寬。

1. 如果您的輸送量低於可用的頻寬 （例如 300 MiB/s 的輸送量與 10 Gbps 的網路頻寬），請考慮將資料集分割成多個任務，以最大化頻寬用量。

   DataSync 有幾個選項可分割資料集。如需詳細資訊，請參閱[使用資料分割加速遷移](datasync-large-migration-data-partitioning.md)。

1. 使用以下公式計算轉移需要多少天，這可提供理論上最短的轉移時間：

   ```
   (DATA_SIZE * 8 bits per byte)/(CIRCUIT * NETWORK_UTILIZATION percentage * 3600 seconds per hour * AVAILABLE_HOURS) = Number of days
   ```

   使用此公式時，請將下列項目取代為您自己的值：
   + `DATA_SIZE`：您要遷移的資料量 （以位元組表示）。
   + `CIRCUIT`：您的可用網路頻寬 （以每秒位元表示）。
   + `NETWORK_UTILIZATION`：使用您網路的百分比。
   + `AVAILABLE_HOURS`：每天可用的操作時數。

   例如，您可以使用 100 TB 的資料、1 Gbps 網際網路連線、80% 的網路使用率和每天 24 小時的可用性來計算遷移，如下所示：

   `(100,000,000,000,000 bytes * 8) / (1,000,000,000 bps * 0.80 * 3600 * 24) = 11.57 days`

   在這種情況下，遷移將需要近 12 天的時間，才能考慮實際情況。

1. 調整計算的轉移持續時間，以考慮實際情況：
   + 網路效能波動
   + 儲存效能變化
   + 遷移波之間的停機時間

## 估算切換時間軸
<a name="datasync-large-migration-cutover-timelines"></a>

如果您要遷移作用中的資料集，您可能需要切換，才不會中斷業務操作。

不要低估切換需要多長時間。在大型遷移中，切換活動最多需要 30% 的整體遷移時間並不罕見。

1. 評估是否需要在波中執行切換，以減少針對增量變更掃描的資料量。

   這樣做的一個策略是縮減您根據共用、資料夾或儲存系統分割的資料集。

1. 檢閱 DataSync 在 POC 期間通常需要多長時間來準備、傳輸和驗證您的資料。

   請特別注意任務執行的準備持續時間。若要尋找此資訊，請執行 [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 操作，然後檢查持續時間的 [PrepareDuration](https://docs.aws.amazon.com/datasync/latest/userguide/API_TaskExecutionResultDetail.html#DataSync-Type-TaskExecutionResultDetail-PrepareDuration) 值 （以毫秒為單位）。

1. 透過測量平行任務之間的時間差異，估計切換可能需要多長時間。

   如需平行任務的詳細資訊，請參閱 [使用資料分割加速遷移](datasync-large-migration-data-partitioning.md)。

1. 使用您的切換估算來排程您的切換。這些基本上是無法修改來源資料的維護時段。

## 後續步驟
<a name="estimate-cutover-timelines-next-steps"></a>

估算您的時間表之後，您就可以開始實作遷移。

# 階段 2：實作您的大型資料遷移
<a name="datasync-large-migraton-stage-2"></a>

透過您在規劃期間收集的資訊，您可以開始使用 AWS DataSync 遷移到新的儲存系統。如果您尚未檢閱[AWS 大型遷移的規範性指引資源](datasync-large-migration.md#review-migration-data-resources)，建議您檢閱這些資源。

**Topics**
+ [使用資料分割加速遷移](datasync-large-migration-data-partitioning.md)
+ [執行 DataSync 傳輸任務](datasync-large-migration-running-tasks.md)
+ [監控您的傳輸](datasync-large-migration-monitoring.md)

# 使用資料分割加速遷移
<a name="datasync-large-migration-data-partitioning"></a>

使用大型遷移時，建議您使用多個 DataSync 任務來分割資料集。跨多個任務 （以及可能的客服人員） 分割來源資料可讓您平行處理傳輸並減少遷移時間軸。

分割也可協助您保持在 DataSync [配額](datasync-limits.md)內，並簡化任務的監控和偵錯。

下圖顯示如何使用多個 DataSync 任務和代理程式從相同的來源儲存位置傳輸資料。在此案例中，每個任務都著重於來源位置中的特定資料夾。如需這些方法的詳細資訊和範例，請參閱[如何使用向外 AWS DataSync 擴展架構加速資料傳輸](https://aws.amazon.com/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/)。

![\[圖表顯示使用 DataSync 分割來源資料以協助加速大型遷移的一種方法。\]](http://docs.aws.amazon.com/zh_tw/datasync/latest/userguide/images/datasync-partition-by-folder.png)


## 依資料夾或字首分割資料集
<a name="configure-task-by-folder"></a>

建立 DataSync 來源位置時，您可以指定 DataSync 讀取來源的資料夾、目錄或字首。例如，如果您要將檔案共享遷移至頂層目錄，您可以建立多個指定不同目錄路徑的位置。然後，您可以在遷移期間使用這些位置來執行多個 DataSync 任務。

## 使用篩選條件分割資料集
<a name="configure-task-with-filters"></a>

您可以套用[篩選條件](filtering.md)，以在傳輸中包含或排除來源位置中的資料。在大型遷移的情況下，篩選條件可協助您將任務範圍限定在資料集的特定部分。

例如，如果您要遷移依年份整理的封存資料，您可以建立包含篩選條件，以符合特定年份或多年。您也可以在每次執行任務時修改篩選條件，以符合不同的年份。

## 使用資訊清單分割資料集
<a name="configure-task-with-manifest"></a>

[資訊](transferring-with-manifest.md)清單是您希望 DataSync 傳輸的檔案或物件清單。透過資訊清單，DataSync 不需要讀取來源位置中的所有內容，即可判斷要傳輸的內容。

您可以從來源儲存體的庫存或透過事件驅動的方法建立資訊清單 （例如，請參閱[AWS DataSync 實作數億個物件](https://aws.amazon.com/blogs/storage/implementing-aws-datasync-with-hundreds-of-millions-of-objects/))。您也可以在每次啟動任務時使用不同的資訊清單，讓您使用相同的任務傳輸不同的資料集。

# 執行 DataSync 傳輸任務
<a name="datasync-large-migration-running-tasks"></a>

在每個遷移波段期間，您的資料傳輸通常會遵循相同的一般程序：

1. 執行資料的初始完整傳輸。

1. 驗證目的地中的資料。

1. 對自初始傳輸以來可能變更的任何資料執行增量傳輸。

1. 將操作縮減至目的地位置。

1. 檢閱切換結果。

## 執行您的任務
<a name="datasync-large-migration-running-tasks-how-to"></a>

您可能需要在上班時間執行 DataSync 傳輸任務，以盡可能縮短整體遷移時間。在這些情況下，通常會執行初始完全轉移，然後執行增量轉移，以說明使用者和應用程式對來源位置所做的變更。

若要避免在上班時間發生網路相關問題，您可以限制任務使用的頻寬量。如需詳細資訊，請參閱[設定 AWS DataSync 任務的頻寬限制](configure-bandwidth.md)。

1. 執行初始完全傳輸：

   1. [啟動 DataSync 任務](run-task.md) （或如果您平行執行任務，則為任務）。

   1. 監控任務執行的進度和效能。

   1. 確認您的資料傳輸方式如預期 （例如，保留檔案中繼資料）。

1. 執行增量傳輸：

   1. [排定任務](task-scheduling.md)定期執行。

   1. 監控您的任務執行，並在遇到錯誤時修正。

## 執行切換
<a name="datasync-migration-cutting-over-how-to"></a>

在初始和增量傳輸之後，您可以開始將操作轉移到目的地位置的程序。

1. 啟動排定的維護時段。

1. 將來源儲存系統更新為僅供應用程式和使用者讀取。

1. 執行最終增量傳輸，以複製來源和目的地位置之間的剩餘差異。

1. 執行徹底的資料驗證 （例如，透過檢閱 CloudWatch 日誌和[任務報告](task-reports.md))。

1. 將您的應用程式和使用者切換到目的地位置的新環境。

1. 測試應用程式功能，並確保使用者可以存取目的地位置中的資料。

1. 安排回顧性會議，與遷移團隊一起檢閱轉移。詢問下列探查範例問題：
   + 切換是否成功？ 如果沒有，問題是什麼？
   + 我們是否使用所有可用的頻寬？
   + 來源和目的地儲存是否充分利用？
   + 我們可以透過其他任務獲得更多資料輸送量嗎？
   + 我們是否需要規劃更長的維護時段？

1. 如有需要，請在開始下一波之前更新您的遷移計畫。

# 監控您的傳輸
<a name="datasync-large-migration-monitoring"></a>

AWS DataSync 提供多種監控選項，協助您驗證轉移並進行偵錯。

## 使用 CloudWatch 指標監控您的傳輸
<a name="datasync-migration-monitoring-cloudwatch-metrics"></a>

您可以使用 DataSync 任務執行中的指標建立自訂 CloudWatch 儀表板。如需詳細資訊，請參閱[使用 Amazon CloudWatch 指標監控資料傳輸](monitor-datasync.md)。

## 使用任務報告監控您的傳輸
<a name="datasync-migration-monitoring-task-reports"></a>

如果您要傳輸數百萬個檔案或物件，請考慮使用任務報告。任務報告提供在任務執行期間DataSync 嘗試傳輸、略過、驗證和刪除哪些項目的詳細資訊。如需詳細資訊，請參閱[使用任務報告監控您的資料傳輸](task-reports.md)。

您也可以使用 AWS Glue、Amazon Athena 和 Amazon Quick 等 AWS 服務來視覺化任務報告。如需詳細資訊，請參閱 [AWS 儲存部落格](https://aws.amazon.com/blogs/storage/derive-insights-from-aws-datasync-task-reports-using-aws-glue-amazon-athena-and-amazon-quicksight/)。

## 使用 CloudWatch Logs 監控您的傳輸
<a name="datasync-migration-monitoring-cloudwatch-logs"></a>

我們建議您至少將任務設定為記錄基本資訊和傳輸錯誤。如需詳細資訊，請參閱 [使用 Amazon CloudWatch Logs 監控資料傳輸](configure-logging.md)。