AWS DataSync轉移的工作方式 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS DataSync轉移的工作方式

了解AWS DataSync轉移相關的關鍵概念和術語。

DataSync 架構

下圖顯示傳輸儲存資料DataSync的方式和位置。如需DataSync支援儲存系統與服務的完整清單,請參閱我可以在哪裡傳輸我的資料AWS DataSync?

在內部部署儲存空間和 AWS

下圖顯示在自我管理的內部部署儲存系統與AWS 服務之間DataSync傳輸檔案的高階概觀。

資料從現DataSync場部署儲存系統傳輸到支援的儲存資源 (例如 Amazon S3 AWS 儲存貯體或 Amazon EFS 檔案系統) 的常見案例概觀。

下圖說明了一個常見的DataSync使用案例:

  • 從內部部署儲存系統複製資料的DataSync代理程式。

  • AWS透過傳輸層級安全性 (TLS) 進入的資料。

  • DataSync將資料複製到支援的AWS儲存服務。

在AWS儲存服務之間傳輸

下圖顯示AWS 服務在相同之間DataSync傳輸檔案的高層級概觀AWS 帳戶。

在AWS儲存資源 (DataSync例如 Amazon S3 儲存貯體或 Amazon EFS 檔案系統) 之間傳輸資料的常見案例概觀。

下圖說明了一個常見的DataSync使用案例:

  • DataSync從支援的AWS儲存服務複製資料。

  • 資料AWS 區域透過 TLS 移動。

  • DataSync將資料複製到支援的AWS儲存服務。

在AWS存儲服務之間進行傳輸時(無論是在相同AWS 區域還是跨AWS 區域),您的數據將保留在AWS網絡中,並且不會遍歷公共互聯網。

重要

您需要為之間傳輸的資料付費AWS 區域。這是以資料從來源區域傳出至目的地區域計費。如需詳細資訊,請參閱資料傳輸定價

在雲存儲系統和存AWS儲服務之間進行轉移

使用DataSync,您可以在其他雲存儲系統和AWS 服務. 在這種情況下,雲存儲系統可以包括:

  • 由託管的自我管理儲存系統 AWS (例如,內部虛擬私有雲中的 NFS 共用AWS)。

  • 由其他雲端供應商託管的儲存系統或服務。

如需詳細資訊,請參閱:

概念和術語

熟悉DataSync傳輸功能。

客服人員

代理程式是一種虛擬機器 (VM) 應用裝置,DataSync用於在傳輸期間從儲存區讀取和寫入。

您可以在 VMware ESXi、以 Linux 核心為基礎的虛擬機器 (KVM) 或微軟 Hyper-V 虛擬機器管理程式的儲存環境中部署代理程式。對於在中的虛擬私有雲端 (VPC) 中進行的存放置AWS,您可以將代理程式部部部部部部部部部部部部部部部部部部

DataSync移轉代理程式與可用於DataSync探索的代理程式沒有什麼不同,但我們不建議在這些案例中使用相同的代理程式。

若要開始使用,請參閱建立代理程式

位置

說明您要將資料從哪裡複製或複製到哪裡。每個DataSync傳輸(也稱為任務)都有一個源和目的地位置。如需詳細資訊,請參閱我可以在哪裡傳輸我的資料AWS DataSync?

任務

任務描述了DataSync移轉。它標識源和目標位置以及有關如何在這些位置之間複製數據的詳細信息。您也可以指定工作處理中繼資料、已刪除檔案和權限的方式。

任務執行

工作執行是DataSync傳送工作的個別執行。任務執行涉及幾個階段。如需詳細資訊,請參閱任務執行狀態

如何DataSync傳輸檔案和物件

當您開始移轉作業時,會DataSync檢查來源和目的地儲存系統,以決定要同步的內容。它通過遞歸掃描兩個系統的內容和元數據來確定兩者之間的差異來實現這一點。這可能只需要幾分鐘或幾個小時,具體取決於涉及的檔案或物件數量 (包括儲存系統的效能)。

DataSync然後根據您設定傳輸的方式,開始將資料 (包括中繼資料) 從來源移至目的地。例如,一DataSync律會在傳輸期間執行資料完整性檢查。傳輸完成後,也DataSync可以驗證位置之間的整個資料集,或僅驗證您複製的資料。(在大多數情況下,我們建議僅驗證轉移的內容。) 也有用於過濾要傳輸的內容的選項。

如何DataSync驗證資料完整性

DataSync本機計算來源和目標儲存系統中每個檔案或物件的總和檢查碼,並進行比較。此外,DataSync比較來源和目的地中每個檔案或物件的中繼資料。

如果在兩者中有任何差異,驗證就會失敗並顯示錯誤代碼,明確指出何處失敗。例如,您可能會看到錯誤碼 Checksum failureMetadata failure,例如Files were addedFiles were removed、、、等。

如需詳細資訊,請參閱設定如何AWS DataSync驗證資料完整性

如何DataSync處理打開和鎖定的文件

嘗試傳輸正在使用或鎖定的檔案時,請記住下列事項:

  • 一般而言,DataSync 可在毫無限制的情況下傳輸開啟的檔案。

  • 如果檔案已開啟並在傳輸期間寫入,則DataSync可以在傳輸工作的驗證階段偵測到這種不一致性。若要取得檔案的最新版本,您必須再次執行任務。

  • 如果檔案已鎖定且伺服器無法開啟檔案,DataSync則會在傳輸期間DataSync略過檔案並記錄錯誤。

  • DataSync無法鎖定或解除鎖定檔案。