AWS DataSync转账是如何运作的 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS DataSync转账是如何运作的

学习与AWS DataSync转账相关的关键概念和术语。

DataSync 架构

下图显示了DataSync通常如何以及在何处传输存储数据。有关DataSync支持的存储系统和服务的完整列表,请参见我可以在哪里传输我的数据AWS DataSync?

在本地存储和之间传输 AWS

下图高度概括在自管本地存储系统和AWS 服务之间DataSync传输文件的情况。

概述了将数据从本地存储系统传输到支持的存储资源(例如 Amazon S3 AWS 存储桶或 Amazon EFS 文件系统)的常见DataSync场景。

该图说明了一个常见的DataSync用例:

  • DataSync代理从本地存储系统复制数据。

  • 数据AWS通过传输层安全性(TLS)传入。

  • DataSync将数据复制到支持的AWS存储服务。

在AWS存储服务之间传输

下图高度概括此处之间AWS 服务文件DataSync传输的高级概述AWS 账户。

概述了在AWS存储资源(例如 Amazon S3 存储桶或 Amazon EFS 文件系统)之间传输数据的常见DataSync场景。

该图说明了一个常见的DataSync用例:

  • DataSync从支持的AWS存储服务复制数据。

  • AWS 区域通过 TLS 传输数据。

  • DataSync将数据复制到支持的AWS存储服务。

在AWS存储服务之间传输时(无论是同一服务AWS 区域还是跨存储服务AWS 区域),您的数据将保留在AWS网络中,不会通过公共互联网。

重要

您需要为在两者之间传输的数据付费AWS 区域。这按从您的来源区域向目标区域传输数据计费。有关更多信息,请参阅数据传输定价

在云存储系统和AWS存储服务之间传输

使用DataSync,您可以在其他云存储系统和之间传输数据AWS 服务。在这种情况下,云存储系统可以包括:

  • 由托管的自我管理存储系统AWS(例如,内部AWS虚拟私有云中的 NFS 共享)。

  • 其他云提供商托管的存储系统或服务。

有关更多信息,请参阅:

概念和术语

熟悉DataSync传输功能。

代理

代理是一种虚拟机 (VM) 设备,DataSync用于在传输期间对存储进行读取和写入。

你可以在 VMware ESXi、基于 Linux 内核的虚拟机 (KVM) 或微软 Hyper-V 虚拟机管理程序上的存储环境中部署代理。要在虚拟私有云(VPC)中AWS存储用于 Amazon EC2 实例的相同虚拟私有云(VPC)中。

DataSync传输代理与可用于 DataSync Discovery 的代理没有什么不同,但我们不建议在这些情况下使用相同的代理。

要要要要要要要要要要要要要要要其用法。

位置

位置描述了您要从哪里复制数据或将数据复制到哪里。每次DataSync传输(也称为任务)都有源位置和目标位置。有关更多信息,请参阅我可以在哪里传输我的数据AWS DataSync?

任务

任务描述了DataSync转移。它标识了源位置和目标位置以及有关如何在这些位置之间复制数据的详细信息。您还可以指定任务如何处理元数据、已删除的文件和权限。

任务执行

任务执行是DataSync传输任务的单独运行。任务执行涉及多个阶段。有关更多信息,请参阅任务执行状态

如何DataSync传输文件和对象

开始传输时,DataSync检查您的源存储系统和目标存储系统以确定要同步的内容。它通过递归扫描两个系统的内容和元数据来识别两者之间的差异来做到这一点。这可能只需要几分钟或几个小时,具体取决于所涉及的文件或对象的数量(包括存储系统的性能)。

DataSync然后开始根据您设置传输的方式将数据(包括元数据)从源移动到目标。例如,在传输过程中DataSync始终执行数据完整性检查。传输完成后,DataSync还可以验证各个位置之间的整个数据集或仅验证您复制的数据。(在大多数情况下,我们建议仅验证传输的内容。) 也有筛选要传输的内容的选项。

如何DataSync验证数据完整性

DataSync在本地计算源和目标存储系统中每个文件或对象的校验和并进行比较。此外,DataSync比较源和目标中每个文件或对象的元数据。

如果两者之间存在差异,验证将失败,显示精确指定失败内容的错误代码。例如,你可能会看到Checksum failure、、Metadata failureFiles were addedFiles were removed、等错误代码。

有关更多信息,请参阅配置如何AWS DataSync验证数据完整性

如何DataSync处理打开和锁定的文件

尝试传输正在使用或锁定的文件时,请记住以下几点:

  • 一般而言,DataSync 可以传输打开的文件而没有任何限制。

  • 如果文件在传输过程中处于打开状态并正在写入,则DataSync可以在传输任务的验证阶段检测到这种不一致性。要获取最新版本的文件必须再次运行任务。

  • 如果文件被锁定并且服务器DataSync阻止其打开,则在传输过程中DataSync跳过该文件并记录错误。

  • DataSync无法锁定或解锁文件。