本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
从本地迁移大量数据需要仔细规划、编排和执行,从而确保您的数据成功迁移到 AWS。
我们建议您在开始迁移之前制定数据迁移策略,以避免错过最后期限、超出预算和迁移失败的可能性。 AWS Snow 服务可帮助您通过中的 Snowball Edge 大数据迁移管理器 (LDMM) 功能下达、订购和跟踪大型数据迁移项目。 AWS Snow 系列管理控制台
主题 使用 Snowball Edge 计划您的大额转会 和 使用 Snowball Edge 校准大型传输 描述了手动数据迁移过程。您可以使用 Snowball Edge LDMM 迁移计划简化手动步骤。
主题
使用 Snowball Edge 计划您的大额转会
我们建议您按照以下各节中的指南,规划和校准现场 AWS Snowball Edge 设备与服务器之间的大型数据传输。
第 1 步:了解您要迁移到云中的数据
在使用创建第一个任务之前 AWS Snow 系列管理控制台,请务必评估需要传输的数据量、当前存储位置以及要将其传输到的目的地。对于规模为 PB 或更大的数据传输,这种管理内务管理可以让 Snowball Edge 到货时变得更加轻松。
如果您是首次将数据迁移到,我们建议您设计云迁移模型。 AWS Cloud 云迁移不是一朝一夕就能完成的。这项工作需要严谨的规划流程,从而确保所有系统都能按预期运行。
完成此步骤后,您应了解要迁移到云中的数据总量。
第 2 步:计算您的目标传输速率
重要的是要估计将数据传输到连接到每台服务器的 Snowball Edge 的速度。这个以 MB/秒 为单位的预估速度决定了使用本地网络基础设施将数据从数据来源传输到 Snowball Edge 设备的速度。
注意
对于大型数据传输,我们建议您使用 Amazon S3 数据传输方法。在 AWS Snow 系列管理控制台中预定设备时,必须选择此选项。
要确定基准传输速率,请将数据的一小部分传输到 Snowball Edge 设备,或者传输 10 GB 的示例文件并观察吞吐量。
在确定您的目标传输速度时,请谨记您可以通过调整环境(包括网络配置)来提高吞吐量,其方法为更改网络速度、所传输文件的大小以及从本地服务器读取数据的速度。在您的条件允许的情况下,Amazon S3 适配器会尽快将数据复制到 Snowball Edge。
第 3 步:确定你需要多少 Snowball Edge
根据您计划迁移到云中的数据总量、估计的传输速度以及您希望允许将数据迁移到云中的天数 AWS,确定大规模数据迁移需要多少 Snowball Edge。根据设备类型的不同,Snowball Edge 设备大约有 39.5 TB 或 210 TB 的可用存储空间。例如,如果您想在 10 天内将 300 TB 的数据移至 AWS 超过 10 天,并且传输速度为 250 MB/s,则需要 2 台具有 210 TB 存储空间的 Snowball Edge 设备。
注意
Snowball Edge LDMM 提供了一个向导,用于估算可以同时支持的 Snowball Edge 数量。有关更多信息,请参阅 使用 Snowball Edge 制定大型数据迁移计划。
第 4 步:创建您的作业
在你知道需要多少 Snowball Edge 之后,你需要为每台设备创建一个导入任务。Snowball Edge LDMM 简化了创建多个工作岗位的过程。有关更多信息,请参阅 下达下一个作业订单。
注意
您可以下达下一个作业订单,并直接从建议的作业预定计划表自动将其添加到计划中。有关更多信息,请参阅 建议的作业预定计划。
第 5 步:将您的数据分为传输分段
对于包含多个作业的大型数据传输,其最佳实操是将数据有序划分为数个易于管理的小型数据集。这样一来,您可以每次传输一个分区,或者并行传输多个分区。在规划分区时,请确保分区的组合数据适合在 Snowball Edge 上完成任务。例如,您可以通过以下任一方法将传输的数据分成多个分区:
-
例如,您可以创建 10 个分区,每个分区为 20 TB,与具有 210 TB 存储的 Snowball Edge 设备配合使用。
-
对于大型文件,每个文件均可为一个单独的分区,但不得超过 Amazon S3 中对象的 5 TB 大小限制。
-
各分区的大小可有所不同,每个单独的分区都可由相同类型的数据组成,例如,一个分区由小型文件组成,另一个分区由压缩存档文件组成,而另一个分区则由大型文件组成等。这种方法能够帮助您确定不同类型文件的平均传输速率。
注意
对于传输的每个文件,均会执行元数据操作。不论文件大小,此开销都是相同的。因此,通过将小文件压缩为更大的捆绑包、批处理您的文件或传输更大的单个文件,您将获得更快的传输速度。
创建此类数据传输分段能够让您轻松快速地解决任何传输问题,因为在大型的异构传输运行一天或更长时间后尝试对该传输进行故障排除可能会很复杂。
规划完 PB 级数据传输计划后,我们建议您将服务器上的几个分段传输到 Snowball Edge 设备上,以校准速度和总传输时间。