本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 在 Windows 文件服务器上 FSx 管理存储 文件系统的存储配置包括预置存储容量、存储类型，以及存储类型为固态硬盘（SSD）时的 SSD IOPS 数量。可以在创建文件系统时以及创建之后，配置这些资源以及文件系统吞吐能力，以实现工作负载所需的性能。通过浏览以下主题，了解如何使用 AWS 管理控制台 AWS CLI、和 Amazon CL FSx I 进行远程管理 PowerShell 来管理文件系统的存储和与存储相关的性能。 **Topics** + [优化存储成本](#optimize-storage-costs) + [管理存储容量](#managing-storage-capacity) + [管理文件系统存储类型](#managing-storage-type) + [管理 SSD IOPS](#managing-provisioned-ssd-iops) + [通过重复数据删除来降低存储成本](#using-data-dedup) + [管理存储配额](managing-user-quotas.md) + [增加文件系统存储容量](increase-storage-capacity.md) + [监控存储容量增加](monitoring-storage-capacity-increase.md) + [动态增加 FSx 适用于 Windows 的文件服务器文件系统的存储容量](automate-storage-capacity-increase.md) + [更新 FSx 适用于 Windows 的文件系统的存储类型](updating-storage-type.md) + [监控存储类型更新](monitoring-storage-type-updates.md) + [更新文件系统的 SSD IOPS](how-to-provision-ssd-iops.md) + [监控预置的 SSD IOPS 更新](monitoring-provisioned-ssd-iops.md) + [管理重复数据删除](managing-data-dedup.md) + [重复数据删除问题排查](data-dedup-ts.md) ## 优化存储成本 您可以使用适用 FSx 于 Windows 的存储配置选项来优化存储成本。 **存储类型选项** — FSx 适用于 Windows File Server 提供了两种存储类型，即硬盘驱动器 (HDD) 和固态驱动器 (SSD)，使您能够进行优化 cost/performance 以满足工作负载需求。HDD 存储专为各种工作负载而设计，包括主目录、用户和部门共享以及内容管理系统。SSD 存储专为性能最高、对延迟最敏感的工作负载而设计，包括数据库、媒体处理工作负载和数据分析应用程序。有关存储类型和文件系统性能的更多信息，请参阅 [FSx 用于 Windows 文件服务器的性能性能](performance.md)。 **重复数据删除** - 大型数据集中通常存在冗余数据，这会增加数据存储成本。例如，用户文件共享可以有同一文件的多个副本，由多个用户存储。软件开发共享可以包含许多在各个内部版本中都保持不变的二进制文件。您可以通过为文件系统开启*重复数据删除*功能来降低数据存储成本。开启后，重复数据删除只存储一次数据集的重复部分，从而自动减少或消除多余的数据。有关重复数据删除以及如何轻松为 Amazon FSx 文件系统开启重复数据删除功能的更多信息，请参阅[通过重复数据删除来降低存储成本](#using-data-dedup)。 ## 管理存储容量 随着存储需求 FSx 的变化，您可以增加 for Windows 文件系统的存储容量。您可以使用亚马逊 FSx 控制台、亚马逊 FSx API 或 AWS Command Line Interface (AWS CLI) 来执行此操作。计划增加存储容量时需要考虑的因素包括了解何时需要增加存储容量、了解 Amazon 如何 FSx 处理存储容量增加以及跟踪存储容量增加请求的进度。您可以仅增加文件系统的存储容量；不得减少存储容量。 **注意** 对于 2019 年 6 月 23 日之前创建的文件系统，或者从 2019 年 6 月 23 日之前创建的文件系统的备份中恢复的文件系统，无法增加其存储容量。 当您增加 Amazon FSx 文件系统的存储容量时，Amazon FSx 会在幕后为您的文件系统添加一组新的、更大的磁盘。 FSx 然后，Amazon 在后台运行存储优化流程，以透明的方式将数据从旧磁盘迁移到新磁盘。根据存储类型和其他因素，存储优化可能需要几小时到几天的时间，对工作负载性能的影响微乎其微。在此优化期间，备份使用率会暂时增加，因为文件系统级备份中既包含旧存储卷也包含新存储卷。包括这两组存储卷是为了确保 Amazon 即使在存储扩展活动期间也 FSx 能成功获取备份和从备份中恢复。备份历史记录中不再包含旧存储卷后，备份使用率将恢复到之前的基准水平。新存储容量可用后，您只需为新存储容量付费。 下图显示了 Amazon 在增加文件系统存储容量时 FSx 使用的流程中的四个主要步骤。 ![该图显示存储扩展过程的 4 个步骤。](http://docs.aws.amazon.com/zh_cn/fsx/latest/WindowsGuide/images/storage-scaling-flow.png) 您可以使用亚马逊 FSx 控制台、CLI 或 API 随时跟踪存储优化、固态硬盘存储容量增加或固态硬盘 IOPS 更新的进度。有关更多信息，请参阅 [监控存储容量增加](monitoring-storage-capacity-increase.md)。 ### 有关增加文件系统存储容量的需知事项 以下是增加存储容量时需要考虑的几个重要事项： + **仅增加**：您可以仅*增加*文件系统的存储容量；不得减少存储容量。 + **最低增量**：每次增加的存储容量必须至少为文件系统当前存储容量的 10%，最大允许值为 65536GiB。 + **最低吞吐容量**-要增加存储容量，文件系统的最低吞吐容量必须为 16 MBps。这是因为存储优化步骤是一个吞吐量密集型过程。 + **两次增加的间隔时间**：在上次增加请求后 6 小时或存储优化过程完成（以较长的时间为准）之前，无法进一步增加文件系统的存储容量。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间，我们建议在增加存储容量之前先增加文件系统的吞吐能力（在存储扩展完成之后可以缩减吞吐能力），并在文件系统上流量最低时增加存储容量。 **注意** 某些文件系统事件可能会消耗磁盘 I/O 性能资源。例如： 存储容量扩展的优化阶段可能会增加磁盘吞吐量，并可能导致性能警告。有关更多信息，请参阅 [性能警告和建议](monitoring-cloudwatch.md#performance-insights-FSxW)。 ### 知道何时增加存储容量 当文件系统的可用存储容量不足时，请增加其存储容量。使用该`FreeStorageCapacity` CloudWatch 指标来监控文件系统上的可用存储量。您可以根据此指标创建 Amazon CloudWatch 警报，并在该指标降至特定阈值以下时收到通知。有关更多信息，请参阅 [使用 Amazon 进行监控 CloudWatch](monitoring-cloudwatch.md)。 我们建议您的文件系统始终保持至少 20% 的可用存储容量。使用所有存储容量可能会对性能产生负面影响，并可能会导致数据不一致。 可用存储容量低于您指定的定义阈值时，您可以自动增加文件系统的存储容量。使用 AWS开发的自定义 CloudFormation 模板部署实施自动化解决方案所需的所有组件。有关更多信息，请参阅 [动态增加存储容量](automate-storage-capacity-increase.md)。 ### 增加存储容量并提升文件系统性能 当新的存储容量可用后，Amazon 在后台 FSx 运行存储优化流程，大多数工作负载对性能的影响微乎其微。但是，使用 HDD 存储类型的文件系统，以及涉及大量终端用户、高 I/O 级别或包含大量小文件的数据集的工作负载，可能会暂时出现性能下降的情况。对于这些情况，我们建议您先提高文件系统的吞吐能力，然后再增加存储容量。对于这些类型的工作负载，我们还建议在文件系统负载较低的空闲时段更改吞吐能力。这使您能够继续提供相同级别的吞吐量，满足应用程序的性能需求。有关更多信息，请参阅 [管理吞吐能力](managing-throughput-capacity.md)。 ## 管理文件系统存储类型 您可以使用 AWS 管理控制台 和将文件系统存储类型从 HDD 更改为 SSD AWS CLI。将存储类型更改为 SSD 时，请注意，在上次请求更新后 6 小时或存储优化过程完成（以较长的时间为准）之前，无法再次更新文件系统配置。存储优化可能需要几小时到几天才能完成。为了最大限度地缩短这段时间，我们建议您在文件系统上的流量最小时更新存储类型。有关更多信息，请参阅 [更新 FSx 适用于 Windows 的文件系统的存储类型](updating-storage-type.md)。 无法将文件系统存储类型从 SSD 更改为 HDD。如果要将文件系统的存储类型从 SSD 更改为 HDD，则需要将文件系统的备份还原到配置为使用 HDD 存储的新文件系统。有关更多信息，请参阅 [将备份还原至新文件系统](using-backups.md#restoring-backups)。 ### 关于存储类型 您可以将 FSx 适用于 Windows File Server 的文件系统配置为使用固态驱动器 (SSD) 或磁性硬盘驱动器 (HDD) 存储类型。 **SSD 存储**适用于大多数具有高性能要求和延迟敏感性的生产工作负载。这些工作负载的示例包括数据库、数据分析、媒体处理和业务应用程序。对于涉及大量最终用户、高 I/O 级别或包含大量小文件的数据集的使用案例，我们也建议使用 SSD。最后，如果您计划启用影子副本，我们建议您使用 SSD 存储。SSD 存储文件系统可配置和扩展 SSD IOPS，但 HDD 存储不能。 **HDD 存储**专为各种工作负载而设计，包括主目录、用户和部门文件共享以及内容管理系统。与 SSD 存储相比，HDD 存储的成本更低，但延迟更高，单位存储磁盘吞吐量和磁盘 IOPS 也更低。它可能适用于 I/O 要求较低的通用用户共享和主目录、不经常检索数据的大型内容管理系统 (CMS) 或包含少量大文件的数据集。 有关更多信息，请参阅 [存储配置和性能](performance.md#storage-capacity-and-performance)。 ## 管理 SSD IOPS 对于配置了 SSD 存储的文件系统，SSD IOPS 的数量决定了文件系统必须从磁盘读取数据和向磁盘写入数据时 I/O 可用的磁盘量，而不是缓存中的数据。您可以独立于存储容量选择和扩展 IOPS 数量。您可以预置的最大 SSD IOPS 取决于您为文件系统选择的存储容量和吞吐能力。如果您尝试将 SSD IOPS 提高到超出吞吐能力支持的上限，则可能需要增加吞吐能力才能获得这一级别的 SSD IOPS。有关更多信息，请参阅 [FSx 用于 Windows 文件服务器的性能性能](performance.md) 和 [管理吞吐能力](managing-throughput-capacity.md)。 以下是更新文件系统的预置 SSD IOPS 时需要了解的几个重要事项： + 选择 IOPS 模式 - 有以下两种 IOPS 模式可供选择： + **自动** — 选择此模式，Amazon FSx 将自动扩展您的固态硬盘 IOPS，以保持每 GiB 存储容量 3 个固态硬盘 IOPS，每个文件系统最多保持 400,000 个固态硬盘 IOPS。 + **用户预置** – 选择此模式可以指定 SSD IOPS 的数量，范围在 96 - 40 万之间。为 AWS 区域 Ama FSx zon 的所有可用区域指定一个介于 3—50 IOPS 之间，或者在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、美国东部（俄勒冈）、美国东部（俄亥俄州）、欧洲（爱尔兰）、亚太地区（东京）和亚太地区（新加坡）的每 GiB 存储容量 3—500 IOPS 之间。当选择用户预置的模式，且指定的 SSD IOPS 数量未达到每 GiB 至少 3 IOPS 的要求，请求将失败。对于更高级别的预置 SSD IOPS，如果每个文件系统每 GiB 的平均 IOPS 超过 3，则需付费。 + **存储容量更新** — 如果您增加文件系统的存储容量，并且默认情况下所需的固态硬盘 IOPS 量大于当前用户配置的 SSD IOPS 级别，Amazon 会自动将您的文件系统切换到 FSx 自动模式，并且您的文件系统每 GiB 存储容量将至少有 3 个 SSD IOPS。 + **吞吐量容量更新** — 如果您增加了吞吐容量，并且您的新吞吐容量支持的最大 SSD IOPS 高于用户配置的 SSD IOPS 级别，Amazon 会自动将您的文件系统切换到 FSx自动模式。 + **增加 SSD IOPS 频率** – 在上次增加请求后 6 小时，或存储优化过程完成（以较长的时间为准）之前，无法进一步提高文件系统的 SSD IOPS、增加文件系统的吞吐能力或更新文件系统的存储类型。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间，我们建议在文件系统流量最小的时候扩展 SSD IOPS。 **注意** 请注意，只有以下地区支持 4,608 MBps 及更高的吞吐容量级别 AWS 区域：美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、美国东部（俄亥俄州）、欧洲（爱尔兰）、亚太地区（东京）和亚太地区（新加坡）。 有关如何更新适用于 Windows 文件服务器文件系统的预配置 SSD IOPS 量的更多信息，请参阅。 FSx [更新文件系统的 SSD IOPS](how-to-provision-ssd-iops.md) ## 通过重复数据删除来降低存储成本 重复数据删除（通常简称为数据删重）有助于存储管理员降低与重复数据相关的成本。在 Window FSx s File Server 中，你可以使用 Microsoft 重复数据删除来识别和消除冗余数据。大型数据集中通常存在冗余数据，这会增加数据存储成本。例如： + 用户文件共享可能有多个相同或相似的文件副本。 + 软件开发共享可以有多个在各个内部版本中都保持不变的二进制文件。 您可以通过为文件系统启用重复数据删除功能来降低数据存储成本。*重复数据删除*只存储一次数据集的重复部分，从而减少或消除多余的数据。启用重复数据删除时默认启用数据压缩，从而在删除重复数据后进行数据压缩，以进一步节省空间。重复数据删除可优化冗余，而不会影响数据的保真度或完整性。重复数据删除会作为后台进程运行，能够持续、自动地扫描和优化您的文件系统，并且这对您的用户和连接的客户端是透明的。 能够通过重复数据删除节省的存储容量取决于数据集的性质，包括文件之间存在的重复数据量。通用文件共享通常可节省 50-60% 的成本。在共享中，节省范围为用户文档的 30–50% 到软件开发数据集的 70–80%。您可以使用下面描述的`Measure-FSxDedupFileMetadata`远程 PowerShell 命令来衡量重复数据删除可能节省的费用。 您还可以自定义重复数据删除以满足您的特定存储需求。例如，您可以将其配置为仅在特定文件类型上运行重复数据删除，也可以创建自定义作业计划。由于重复数据删除作业会消耗文件服务器资源，因此我们建议使用 `Get-FSxDedupStatus` 来监控重复数据删除作业的状态。 有关在文件系统上配置重复数据删除的信息，请参阅 [管理重复数据删除](managing-data-dedup.md)。 有关解决重复数据删除相关问题的信息，请参阅 [ 重复数据删除问题排查 学习识别和解决在 Windows File Server 文件系统上使用 FSx 重复数据删除时出现的问题。 重复数据删除内存不足PowerShell 使用以下信息帮助排查配置和使用重复数据删除时产生的一些常见问题。 重复数据删除不起作用 要查看重复数据删除的当前状态，请运行`Get-FSxDedupStatus` PowerShell 命令以查看最新重复数据删除作业的完成状态。如果一个或多个作业失败，则文件系统的可用存储容量可能不会增加。 重复数据删除作业失败的最常见原因是内存不足。 Microsoft [建议](https://docs.microsoft.com/en-us/windows-server/storage/data-deduplication/install-enable#faq)最好每 1 TB 的逻辑数据有 1 GB 的内存（或者每 1 TB 的逻辑数据至少有 350 MB 的内存）。使用 [Amazon FSx 性能表](performance.md#performance-table)来确定与您的文件系统的吞吐容量相关的内存，并确保内存资源足以容纳您的数据大小。如果不够，则需要[提高文件系统的吞吐能力](managing-throughput-capacity.md)，使其满足每 1 TB 逻辑数据提供 1 GB 内存的要求。 重复数据删除作业使用 Windows 推荐的默认 25% 内存分配配置，这意味着对于具有 32 GB 内存的文件系统，8 GB 可用于重复数据删除。内存分配是可配置的（使用带 `–Memory` 参数的 `Set-FSxDedupSchedule` 命令）。请注意，为重复数据删除使用较高的内存分配可能会影响文件系统的性能。 您可以修改重复数据删除作业的配置，以降低内存需求量。例如，您可以将优化限制为针对特定文件类型或文件夹运行，或者设置优化的最小文件大小和期限。我们还建议将重复数据删除作业配置为在文件系统负载最小的空闲期间运行。 如果重复数据删除作业没有足够的时间完成，也可能会出错。您可能需要更改作业的最长持续时间，如 [修改重复数据删除计划](managing-data-dedup.md#set-dedup-sched) 中所述。 如果重复数据删除作业已经失败了很长时间，并且在此期间文件系统上的数据发生了变化，那么后续的重复数据删除作业可能需要更多资源才能首次成功完成。 重复数据删除值意外设置为 0 对于已配置重复数据删除的文件系统，`SavedSpace` 和 `OptimizedFilesSavingsRate` 的值意外设为 0。 在存储优化过程中，当您增加文件系统的存储容量时，可能会发生这种情况。当您增加文件系统的存储容量时，Amazon 会在存储优化过程中 FSx 取消现有的重复数据删除任务，该过程会将数据从旧磁盘迁移到更大的新磁盘。存储优化任务完成后，Amazon 将 FSx 恢复文件系统的重复数据删除。有关增加存储容量和存储优化的更多信息，请参阅[管理存储容量](managing-storage-configuration.md#managing-storage-capacity)。 删除文件后，文件系统上的空间未被释放 重复数据删除的预期行为是，如果删除的数据是重复数据删除节省空间的内容，那么文件系统上的空间实际上要在垃圾回收作业运行后才会释放。 您可能会发现，将计划设置为在删除大量文件后立即运行垃圾回收作业很有用。垃圾回收作业完成后，您可以将垃圾回收计划恢复回其原始设置。这便可以确保您能立即快速查看删除内容释放的空间。 按照以下步骤将垃圾回收作业设置为 5 分钟后运行。 要验证是否启用了重复数据删除，请使用 `Get-FSxDedupStatus` 命令。有关命令及其预期输出的更多信息，请参阅[查看节省的空间量](managing-data-dedup.md#get-dedup-status)。 按照以下步骤将计划设置为垃圾回收作业在从现在起 5 分钟后运行。 ``` $FiveMinutesFromNowUTC = ((get-date).AddMinutes(5)).ToUniversalTime() $DayOfWeek = $FiveMinutesFromNowUTC.DayOfWeek $Time = $FiveMinutesFromNowUTC.ToString("HH:mm") Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock { Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9 } ``` 在运行垃圾回收作业并释放空间后，将计划恢复回其原始设置。 ](data-dedup-ts.md#data-dedup-ts.title)。 有关重复数据删除的更多信息，请参阅 Microsoft [了解重复数据删除](https://docs.microsoft.com/en-us/windows-server/storage/data-deduplication/understand)文档。 **警告** 我们不建议您运行某些带有重复数据删除功能的 Robocopy 命令，因为这些命令可能会影响 Chunk Store 的数据完整性。有关更多信息，请参阅 Microsoft [重复数据删除互操作性](https://docs.microsoft.com/en-us/windows-server/storage/data-deduplication/interop)文档。 ### 使用重复数据删除的最佳实践 以下是使用重复数据删除的一些最佳实践： + **将重复数据删除作业安排在文件系统空闲时运行**：默认计划包括每周六 2:45 UTC 进行 `GarbageCollection` 作业。如果您的文件系统中有大量数据流失，则可能需要几个小时才能完成。如果此时间不适合您的工作负载，请将此作业安排在您预计文件系统流量较低的时候运行。 + **为完成重复数据删除配置足够的吞吐能力**：更高的吞吐能力可提供更高级别的内存。Microsoft 建议每 1 TB 逻辑数据有 1 GB 的内存来运行重复数据删除。使用 [Amazon FSx 性能表](performance.md#impact-throughput-cap-performance)来确定与您的文件系统的吞吐容量相关的内存，并确保内存资源足以容纳您的数据大小。 + **自定义重复数据删除设置以满足您的特定存储需求并降低性能要求**：您可以将优化限制在特定的文件类型或文件夹上运行，或者设置最小文件大小和期限以进行优化。要了解更多信息，请参阅 [通过重复数据删除来降低存储成本](#using-data-dedup)。