管理存储容量 - FSx for ONTAP
存储层选择文件系统存储容量

管理存储容量

Amazon FSx for NetApp ONTAP 提供许多与存储相关的功能，借此您可以管理文件系统的存储容量。

主题

FSx for ONTAP 存储层

存储层是 Amazon FSx for NetApp ONTAP 文件系统的物理存储介质。FSx for ONTAP 提供以下存储层：

  • SSD 层 – 用户预置的高性能固态硬盘（SSD）存储，专为数据集的活跃部分而构建。

  • 容量池层 – 完全弹性的存储，可以自动扩展到 PB 级大小，并且针对不经常访问的数据进行成本优化。

FSx for ONTAP 卷是一种类似于文件夹的虚拟资源，不会消耗存储容量。您存储的（以及消耗物理存储空间的）数据位于卷内。创建卷时，您需要指定卷的大小，但可以在创建后修改其大小。FSx for ONTAP 卷是精简配置，不会提前预留文件系统存储空间。相反，SSD 和容量池存储空间根据需要动态分配。您在卷级别配置的分层策略决定 SSD 层中存储的数据是否以及何时过渡到容量池层。

下图举例说明了跨文件系统中多个 FSx for ONTAP 卷分布的数据。

FSx for ONTAP SSD 和容量池存储层在文件系统卷之间进行逻辑预置。

下图说明了上图四个卷中的数据如何消耗文件系统的物理存储容量。

文件系统中所有卷上的 SSD（或主存储层）以及容量池存储层对文件系统物理存储容量的使用情况。

您可以选择更符合文件系统中每个卷的要求的分层策略，从而降低存储成本。有关更多信息，请参阅 卷数据分层。

选择合适容量的文件系统 SSD 存储

在为 FSx for ONTAP 文件系统选择 SSD 存储容量时，您需要记住以下事项，这些事项会影响可用于存储数据的 SSD 存储量：

  • 为 NetApp ONTAP 软件开销预留的存储容量。

  • 文件元数据

  • 最近写入的数据

  • 您打算在 SSD 存储空间上存储的文件，无论是尚未达到冷却周期的数据，还是您最近读取的数据，都会被检索回 SSD。

SSD 存储的使用方式

您的文件系统的 SSD 存储组合用于 NetApp ONTAP 软件（开销）、文件元数据以及您的数据。

NetApp ONTAP 软件开销

与其他 NetApp ONTAP 文件系统一样，文件系统最多 16% 的 SSD 存储容量预留给 ONTAP 开销，这意味着无法用于存储文件：ONTAP 开销的分配方式如下：

  • 11% 预留给 NetApp ONTAP 软件。对于 SSD 存储容量超过 30 太字节 (TiB) 的文件系统，预留 6%。

  • 5% 预留给聚合快照。在文件系统的文件服务器之间同步数据时需要聚合快照。

文件元数据

文件元数据通常占用文件消耗的存储容量的 3-7%。该百分比取决于平均文件大小（平均文件大小越小，需要的元数据越多），以及文件的存储效率节省量。请注意，文件元数据无法从存储效率节省中受益。您可以使用以下准则来估算文件系统上元数据使用的 SSD 存储量。

平均文件大小 元数据大小与文件数据百分比的对应关系

4 KB

7%

8 KB

3.5%

32KB 或更大

1-3%

在调整计划在容量池层上存储的文件元数据所需的 SSD 存储容量时，我们建议采用保守比率，即容量池层上计划存储的每 10GiB 数据对应 1GiB 的 SSD 存储空间。

SSD 层上存储的文件数据

除活跃数据集和所有文件元数据外，写入文件系统的所有数据最初都会写入 SSD 层，然后再分层到容量池存储。无论卷的分层策略如何，都是如此，除非使用 SnapMirror 将数据传输到配置了全部数据分层策略的卷。

只要 SSD 层的利用率低于 90%，容量池层的随机读取内容就会在 SSD 层中缓存。有关更多信息，请参阅 卷数据分层。

建议的 SSD 容量利用率

我们建议 SSD 存储层的利用率不要一直超过 80%。对于第二代文件系统，我们还建议对文件系统任何聚合的持续利用率不超过 80%。这些建议与 NetApp 对 ONTAP 的建议一致。由于文件系统的 SSD 层还用于暂存向容量池层的写入以及从容量池层进行的随机读取，因此，访问模式的任何突然变化都可能很快导致 SSD 层的利用率提高。

当 SSD 利用率为 90% 时，从容量池层读取的数据将不再缓存于 SSD 层，以便剩余的 SSD 容量预留给写入文件系统的新数据。这样会导致，从容量池层重复读取的相同数据会从容量池存储读取，而不是缓存在 SSD 层并从中读取，从而影响文件系统的吞吐能力。

当 SSD 层的利用率达到或高于 98% 时，所有分层功能都会停止。有关更多信息，请参阅 分层阈值。

存储效率

NetApp ONTAP 在卷级别提供块级存储效率功能，包括压缩、紧凑处理和重复数据删除。对于一般文件共享，这些功能最多可节省 65% 的存储容量而不牺牲性能。您可以按卷启用存储效率功能。这些功能可减少数据消耗的存储容量，从而减少 SSD、容量池和备份存储中消耗的存储空间。您可以在每个卷上为 SSD 存储数据启用压缩和重复数据删除功能。当数据分层到容量池存储时，压缩和重复数据删除功能在 SSD 存储中节省的存储空间仍将保留。无论文件系统的存储效率配置如何，备份数据始终启用存储效率功能。

下表列出了典型的存储节省情况。

仅压缩 仅重复数据删除 压缩和重复数据删除
通用文件共享 50% 30% 65%
虚拟服务器和台式机 55% 70% 70%
数据库 65-70% 0% 65-70%
工程数据 55% 30% 75%
地震数据 40% 3% 40%

对于大多数工作负载，启用压缩和重复数据删除功能不会对文件系统的性能带来不利影响。对于大多数工作负载，压缩功能可提高整体性能。为提供对 RAM 缓存的快速读写，FSx for ONTAP 文件服务器在前端网络接口卡 (NIC) 上配备了比文件服务器和存储磁盘之间带宽更高的网络带宽。由于数据压缩减少文件服务器和存储磁盘之间发送的数据量，因此对于大多数工作负载，在使用数据压缩后，文件系统的总体吞吐能力将会增大。一旦文件系统的前端 NIC 饱和后，数据压缩带来的相关吞吐能力的增加将会受到限制。

Amazon FSx for NetApp ONTAP 还支持其他可为您节省空间的 ONTAP 功能，包括快照、精简预置和 FlexClone 卷。

存储效率功能默认未启用。您可按如下方式将其启用：

要查看启用存储效率后在文件系统中节省的存储量，请参阅 监控存储效率节省情况。

计算存储效率节省情况

您可以使用 LogicalDataStored 和 StorageUsed FSx for ONTAP CloudWatch 文件系统指标，以计算通过压缩、重复数据删除、精简、快照和 FlexClones 节省的存储空间。这些指标使用单个维度 FileSystemId。有关更多信息，请参阅 文件系统指标。

  • 要以字节为单位计算存储效率节省，请取给定时段内 StorageUsed 的平均值，然后从相同时段内 LogicalDataStored 的平均值中减去该值。

  • 要计算存储效率带来的节省占逻辑数据总大小的百分比，请取某个给定时间段内的 StorageUsed 的 Average，然后从同一时间段的 LogicalDataStored 的 Average 中减去此值。然后使用差值除以同一时间段内的 LogicalDataStored 的 Average。

SSD 大小调整示例

假设您要为某个应用程序存储 100TiB 的数据。该应用程序中 80% 的数据不经常被访问。在这种情况下，80%（80TB）的数据会自动分层到容量池层，剩余 20%（20TB）仍保留在 SSD 存储中。根据通用文件共享工作负载的通常存储效率节省为 65%，这相当于 7TiB 的数据。要保持 80% 的 SSD 利用率，您需要使用 8.75TiB 的 SSD 存储容量来存储 20TiB 的活跃访问数据。您预置的 SSD 存储量还需要考虑 16% 的 ONTAP 软件存储开销，如以下计算所示。

ssdNeeded = ssdProvisioned * (1 - 0.16)
8.75 TiB / 0.84 = ssdProvisioned
10.42 TiB = ssdProvisioned

因此，在本示例中，您需要预置至少 10.42TiB 的 SSD 存储空间。您还将使用 28TiB 的容量池存储空间来存储剩余 80TiB 不经常访问的数据。