在 Windows 文件服务器上FSx管理存储 - FSx适用于 Windows 文件服务器的亚马逊

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Windows 文件服务器上FSx管理存储

您的文件系统的存储配置包括预配置的存储容量、存储类型,如果存储类型为固态驱动器 (SSD),则包括容量。SSD IOPS在创建文件系统时和创建文件系统之后,您可以配置这些资源以及文件系统的吞吐容量,以实现工作负载所需的性能。通过浏览以下主题,了解如何使用 AWS Management Console AWS CLI、和 Amazon FSx CLI 进行远程管理 PowerShell 来管理文件系统的存储和与存储相关的性能。

优化存储成本

您可以使用适用FSx于 Windows 的存储配置选项来优化存储成本。

存储类型选项 — FSx 适用于 Windows File Server 提供了两种存储类型,即硬盘驱动器 (HDD) 和固态驱动器 (SSD),使您能够优化成本/性能以满足工作负载需求。HDD存储专为各种工作负载而设计,包括主目录、用户和部门共享以及内容管理系统。SSD存储专为性能最高和对延迟最敏感的工作负载而设计,包括数据库、媒体处理工作负载和数据分析应用程序。有关存储类型和文件系统性能的更多信息,请参见FSx用于 Windows 文件服务器的性能

重复数据删除-大型数据集通常包含冗余数据,这会增加数据存储成本。例如,用户文件共享可以有同一文件的多个副本,由多个用户存储。软件开发共享可以包含许多在各个内部版本中都保持不变的二进制文件。您可以通过为文件系统开启重复数据删除功能来降低数据存储成本。开启后,重复数据删除只存储一次数据集的重复部分,从而自动减少或消除多余的数据。有关重复数据删除以及如何轻松为 Amazon FSx 文件系统启用重复数据删除功能的更多信息,请参阅通过重复数据删除降低存储成本

管理存储容量

随着存储需求FSx的变化,您可以增加 Windows 文件系统的存储容量。您可以使用亚马逊FSx控制台、Amazon 或 AWS Command Line Interface (AWS CLI) 来执行此操作。FSx API计划增加存储容量时需要考虑的因素包括了解何时需要增加存储容量、了解 Amazon 如何FSx处理存储容量增加以及跟踪存储容量增加请求的进度。您只能增加文件系统的存储容量;不能减少存储容量。

注意

对于 2019 年 6 月 23 日之前创建的文件系统,或者从 2019 年 6 月 23 日之前创建的文件系统的备份中恢复的文件系统,无法增加其存储容量。

当您增加 Amazon FSx 文件系统的存储容量时,Amazon FSx 会在幕后为您的文件系统添加一组新的、更大的磁盘。FSx然后,Amazon 在后台运行存储优化流程,以透明的方式将数据从旧磁盘迁移到新磁盘。存储优化可能需要几小时到几天,具体取决于存储类型和其他因素,对工作负载性能的明显影响微乎其微。在此优化期间,备份使用率会暂时增加,因为文件系统级备份中既包含旧存储卷也包含新存储卷。包括这两组存储卷是为了确保 Amazon 即使在存储扩展活动期间也FSx能成功获取备份和从备份中恢复。备份历史记录中不再包含旧存储卷后,备份使用率将恢复到之前的基准水平。新存储容量可用后,您只需为新存储容量付费。

下图显示了 Amazon 在增加文件系统存储容量时FSx使用的流程中的四个主要步骤。

该图显示了存储扩展过程的 4 个步骤。

您可以随时使用 Amazon FSx 控制台跟踪SSD存储优化、存储容量增加或SSDIOPS更新的进度CLI,或API。有关更多信息,请参阅 监控存储容量增加

关于增加文件系统的存储容量需要知道什么

以下是增加存储容量时需要考虑的几个重要事项:

  • 仅增加 – 您可以仅增加文件系统的存储容量;不得减少存储容量。

  • 最低增量 – 每次增加的存储容量必须至少为文件系统当前存储容量的 10%,最大允许值为 65536 GiB。

  • 最低吞吐能力 – 要增加存储容量,文件系统的最低吞吐能力必须为 16 MB/s。这是因为存储优化步骤是一个吞吐量密集型过程。

  • 两次增加的间隔时间 – 在上次增加请求后 6 小时或存储优化过程完成(以较长的时间为准)之前,无法进一步增加文件系统的存储容量。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间,我们建议在增加存储容量之前先增加文件系统的吞吐能力(在存储扩展完成之后可以缩减吞吐能力),并在文件系统上流量最低时增加存储容量。

注意

某些文件系统事件可能会消耗磁盘 I/O 性能资源。例如:

存储容量扩展的优化阶段可能会增加磁盘吞吐量,并可能导致性能警告。有关更多信息,请参阅 性能警告和建议

知道何时增加存储容量

当文件系统的可用存储容量不足时,请增加其存储容量。使用该FreeStorageCapacity CloudWatch 指标来监控文件系统上的可用存储量。您可以根据此指标创建 Amazon CloudWatch 警报,并在该指标降至特定阈值以下时收到通知。有关更多信息,请参阅 使用 Amazon 进行监控 CloudWatch

我们建议在文件系统上始终保持至少 10% 的可用存储容量。使用所有存储容量可能会对性能产生负面影响,并可能会导致数据不一致。

可用存储容量低于您指定的定义阈值时,您可以自动增加文件系统的存储容量。使用 AWS开发的自定义 AWS CloudFormation 模板部署实施自动化解决方案所需的所有组件。有关更多信息,请参阅 动态增加存储容量

增加存储容量并提升文件系统性能

当新的存储容量可用后,Amazon 在后台FSx运行存储优化流程,大多数工作负载对性能的影响微乎其微。具有大型活动数据集的写入密集型应用程序可能会暂时出现写入性能降低多达一半的情况。对于这些情况,您可以先增加文件系统的吞吐能力,然后再增加存储容量。这使您能够继续提供相同级别的吞吐量,满足应用程序的性能需求。有关更多信息,请参阅 正在管理 Windows 文件服务器文件系统的吞吐容量 FSx

管理文件系统的存储类型

您可以使用 AWS Management Console 和将文件系统存储类型从HDD更改为SSD AWS CLI。将存储类型更改为时SSD,请记住,在请求上次更新后 6 小时或存储优化过程完成(以较长的时间为准)之前,您无法再次更新文件系统配置。存储优化可能需要几小时到几天才能完成。为了最大限度地缩短这段时间,我们建议您在文件系统上的流量最小时更新存储类型。有关更多信息,请参阅 更新FSx适用于 Windows 的文件系统的存储类型

您不能将文件系统存储类型从更改SSD为HDD。如果要将文件系统的存储类型从更改SSD为HDD,则需要将文件系统的备份恢复到配置为使用HDD存储空间的新文件系统。有关更多信息,请参阅 将备份恢复到新文件系统

关于存储类型

您可以将FSx适用于 Windows File Server 的文件系统配置为使用固态驱动器 (SSD) 或磁性硬盘驱动器 (HDD) 的存储类型。

SSD存储适用于大多数具有高性能要求和延迟敏感性的生产工作负载。这些工作负载的示例包括数据库、数据分析、媒体处理和业务应用程序。我们还建议SSD用于涉及大量最终用户、高级 I/O 或包含大量小文件的数据集的用例。最后,如果您计划启用卷影副本,我们建议您使用SSD存储。您可以SSDIOPS为带有SSD存储但不能HDD使用存储空间的文件系统进行配置和扩展。

HDD存储专为各种工作负载而设计,包括主目录、用户和部门文件共享以及内容管理系统。HDD与存储相比,SSD存储的成本较低,但延迟更高,磁盘吞吐量和IOPS每单位存储的磁盘量也较低。它可能适用于 I/O 要求较低的通用用户共享和主目录、不经常检索数据的大型内容管理系统 (CMS) 或包含少量大文件的数据集。

有关更多信息,请参阅 存储配置和性能

管理 SSD IOPS

对于配置SSDIOPS了SSD存储空间的文件系统,与缓存中的数据相比,当您的文件系统必须从磁盘读取数据和向磁盘写入数据时,可用磁盘 I/O 的容量。您可以SSDIOPS独立于存储容量来选择和扩展容量。您可以配置SSDIOPS的最大容量取决于您为文件系统选择的存储容量和吞吐容量。如果您尝试将吞吐量提高到SSDIOPS超过吞吐量容量所支持的限制,则可能需要增加吞吐量容量才能达到该级别SSDIOPS。有关更多信息,请参阅FSx用于 Windows 文件服务器的性能正在管理 Windows 文件服务器文件系统的吞吐容量 FSx

以下是有关更新已配置SSDIOPS文件系统的几项重要信息:

  • 选择IOPS模式 — 有两种IOPS模式可供选择:

    • 自动 — 选择此模式,Amazon FSx 将自动扩展您的存储容量 SSDIOPS,使您的存储容量保持SSDIOPS每 GiB 3 个,SSDIOPS每个文件系统最多 400,000 个。

    • 用户配置 — 选择此模式,这样您就可以指定介于 96—400,00 SSD IOPS 0 范围内的数量。在 AWS 区域 Ama FSx zon 的所有可用IOPS区域指定一个介于 3—50 的存储容量之间,或者在美国东部(弗IOPS吉尼亚北部)、美国西部(俄勒冈)、美国东部(俄亥俄州)、欧洲(爱尔兰)、亚太地区(东京)和亚太地区(新加坡)指定每 GiB 存储容量 3-500 之间的数字。当您选择用户配置模式,并且指定的数量不至少为每 IOPS GiB 3 SSD IOPS 时,请求将失败。对于更高的配置级别 SSDIOPS,您需要为每个文件系统IOPS每 GiB IOPS 超过 3 的平均配置付费。

  • 存储容量更新 — 如果您增加文件系统的存储容量,并且默认情况下所需的存储容量大于当前用户配置SSDIOPS的容量 SSDIOPS,Amazon FSx 会自动将您的文件系统切换到自动模式,您的文件系统将至少有 3 个每 SSD IOPS GiB 的存储容量。

  • 吞吐量容量更新 — 如果您增加了吞吐容量,并且新的吞吐容量SSDIOPS支持的最大吞吐量高于用户配置SSDIOPS的容量,Amazon FSx 会自动将您的文件系统切换到自动模式。

  • SSDIOPS增加频率 — 在上次请求SSDIOPS增加吞吐量后 6 小时或存储优化过程完成(以较长的时间为准)之前,您无法在文件系统上进一步增加、增加吞吐量容量或更新存储类型。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间,我们建议在文件系统上的流量最少SSDIOPS时进行扩展。

注意

请注意,只有以下地区支持 4,608 MBps 及更高的吞吐容量级别 AWS 区域:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、美国东部(俄亥俄州)、欧洲(爱尔兰)、亚太地区(东京)和亚太地区(新加坡)。

有关如何更新适用于 Windows 文件服务器的文件系统的配置SSDIOPS量的更多信息,请参阅更新文件系统的 SSD IOPS。FSx

通过重复数据删除降低存储成本

重复数据删除(通常简称重复数据删除)可帮助存储管理员降低与重复数据相关的成本。在 Window FSx s File Server 中,你可以使用 Microsoft 重复数据删除来识别和消除冗余数据。大型数据集中通常存在冗余数据,这会增加数据存储成本。例如:

  • 用户文件共享可能有许多相同或相似文件的副本。

  • 软件开发共享可以有许多二进制文件,这些二进制文件从一个版本到另一个版本都保持不变。

您可以通过为文件系统启用重复数据删除来降低数据存储成本。重复数据删除只存储一次数据集的重复部分,从而减少或消除多余的数据。启用重复数据删除后,默认情况下会启用数据压缩,在重复数据删除后压缩数据以进一步节省开支。重复数据删除可在不影响数据保真度或完整性的前提下优化冗余。重复数据删除会作为后台进程运行,能够持续、自动地扫描和优化您的文件系统,并且这对您的用户和连接的客户端是透明的。

能够通过重复数据删除节省的存储容量取决于数据集的性质,包括文件之间存在的重复数据量。通用文件共享通常可节省 50-60% 的成本。在共享中,节省范围为用户文档的 30–50% 到软件开发数据集的 70–80%。您可以使用下面描述的Measure-FSxDedupFileMetadata远程 PowerShell 命令来衡量重复数据删除可能节省的费用。

您还可以自定义重复数据删除以满足您的特定存储需求。例如,您可以将其配置为仅在特定文件类型上运行重复数据删除,也可以创建自定义作业计划。由于重复数据删除作业会消耗文件服务器资源,因此我们建议使用监控重复数据删除任务的状态。Get-FSxDedupStatus

有关在文件系统上配置重复数据删除的信息,请参阅管理重复数据删除

有关解决重复数据删除相关问题的信息,请参阅

有关重复数据删除的更多信息,请参阅 Microsoft 了解重复数据删除文档。

警告

我们不建议您运行某些带有重复数据删除功能的 Robocopy 命令,因为这些命令可能会影响 Chunk Store 的数据完整性。有关更多信息,请参阅 Microsoft 重复数据删除互操作性文档。

使用重复数据删除的最佳实践

以下是使用重复数据删除的一些最佳实践:

  • 将重复数据删除作业安排在文件系统空闲时运行:默认计划包括每周星期六 2:45 UTC 的GarbageCollection作业。如果您的文件系统中有大量数据流失,则可能需要几个小时才能完成。如果此时间不适合您的工作负载,请将此作业安排在您预计文件系统流量较低的时候运行。

  • 为完成重复数据删除配置足够的吞吐能力:更高的吞吐能力可提供更高级别的内存。Microsoft 建议每 1 TB 逻辑数据有 1 GB 的内存来运行重复数据删除。使用 Amazon FSx 性能表来确定与您的文件系统的吞吐容量相关的内存,并确保内存资源足以容纳您的数据大小。

  • 自定义重复数据删除设置以满足您的特定存储需求并降低性能要求:您可以将优化限制在特定的文件类型或文件夹上运行,或者设置最小文件大小和期限以进行优化。要了解更多信息,请参阅 通过重复数据删除降低存储成本