使用 AWS DataSync 迁移至 FSx for ONTAP
我们建议使用 AWS DataSync 在 FSx for ONTAP 文件系统和非 ONTAP 文件系统之间传输数据,包括 FSx for Lustre、FSx for OpenZFS、FSx for Windows File Server、Amazon EFS、Amazon S3 和本地文件管理器。如果您要在 FSx for ONTAP 和 NetApp ONTAP 之间传输文件,建议使用 NetApp SnapMirror。AWS DataSync 是一种数据传输服务,可简化、自动化和加快通过互联网或 AWS Direct Connect 在自行管理的存储系统与 AWS 存储服务之间移动和复制数据的过程。DataSync 可以传输您的文件系统数据以及元数据,例如,所有权、时间戳和访问权限。
您可以使用 DataSync 在两个 FSx for ONTAP 文件系统之间传输文件,也可以将数据移动到另一个 AWS 区域 或 AWS 账户中的文件系统。您也可以将 FSx for ONTAP 文件系统的 DataSync 用于其他任务。例如,您可以执行一次性数据迁移、定期摄取分布式工作负载的数据以及按计划复制以实现数据保护与恢复。
在 DataSync 中,位置指 FSx for ONTAP 文件系统的端点。有关特定传输场景的信息,请参阅《AWS DataSync 用户指南》中的使用位置。
注意
如果您计划使用 All
分层策略将数据迁移至容量池层,请记住,文件元数据始终存储在 SSD 层上,且所有新用户数据都首先写入 SSD 层。当数据写入 SSD 层时,后台分层进程将开始将您的数据分层到容量池存储,但是分层进程非即时,并且会消耗网络资源。考虑到文件元数据(占用户数据大小的 3-7%),您需要调整 SSD 层的大小,作为用户数据的缓冲区,然后再将其分层到容量池存储。建议 SSD 利用率不要超过 80%。
迁移数据时,请务必使用 CloudWatch 文件系统指标监控您的 SSD 层,以确保其填充速度不会超过分层进程将数据移动至容量池存储的速度。您还可以将 DataSync 传输限制为低于分层的速率,以确保您的 SSD 层利用率不超过 80%。例如,对于吞吐能力至少为 512 MBp 的文件系统,200 MBp 的限制通常会平衡数据传输和数据分层速率。
先决条件
要将数据迁移至 FSx for ONTAP 设置,需要具有满足 DataSync 要求的服务器和网络。要了解更多信息,请参阅《AWS DataSync 用户指南》中的 DataSync 要求。
使用 DataSync 迁移文件的基本步骤
使用 DataSync 将文件从源位置传输到目标位置包含以下基本步骤:
-
在您的环境中下载并部署代理,然后激活(如果在 AWS 服务 之间传输,则不需要)。
-
创建源和目标位置。
-
创建任务。
-
运行任务,将文件从源传输到目标。
有关更多信息,请参阅《AWS DataSync 用户指南》中的以下主题: