管理元数据性能
您可以使用 Amazon FSx 控制台、Amazon FSx API 或 AWS Command Line Interface (AWS CLI) 更新 FSx for Lustre 文件系统的元数据配置,而不会对最终用户或应用程序造成带来中断。更新过程会增加为文件系统预配置的元数据 IOPS 的数量。
注意
您只能在使用 Persistent_2 部署类型和指定元数据配置创建的 FSx for Lustre 文件系统上提高元数据性能。
提高的文件系统元数据性能可在几分钟内使用。只要提高元数据性能的请求间隔至少 6 小时,您可以随时更新元数据性能。在扩展元数据性能时,文件系统可能会在几分钟内不可用。在文件系统不可用时客户端发出的文件操作将以透明方式重试,并最终在元数据性能扩展完成后成功。在您可以使用新的元数据性能提升后,就需要为其付费。
您可以使用 Amazon FSx 控制台、CLI 和 API 随时跟踪提高元数据性能的进度。有关更多信息,请参阅 监控元数据配置更新。
Lustre 元数据性能配置
预配置元数据 IOPS 的数量决定了文件系统可以支持的最大元数据操作速率。
创建文件系统时,可以选择“自动”和“用户预置”两种元数据配置模式之一:
在“自动”模式中,Amazon FSx 根据文件系统的存储容量自动在文件系统上预置和扩展元数据 IOPS 数。
在“用户预置”模式中,为文件系统指定要预置的 Metadata IOPS 数。
您可以随时从“自动”模式切换到“用户预置”模式。如果文件系统上预置的元数据 IOPS 数与“自动”模式下预置的默认元数据 IOPS 数一致,也可以从“用户预置”模式切换到“自动”模式。
有效的元数据 IOPS 值为 1500、3000、6000、12000 以及 12000 的倍数,最大值为 192000。每个 12000 元数据 IOPS 值需要在文件系统所处子网内有一个 IP 地址。
在“自动”模式下预置的默认元数据 IOPS 数取决于文件系统的存储容量。有关根据文件系统存储容量预置的默认元数据 IOPS 数的信息,请参阅此表。
如果工作负载的元数据性能超出了在“自动”模式下预置的元数据 IOPS 数,则可以使用“用户预置”模式增加文件系统的元数据 IOPS 值。
您可以按以下方式,查看文件系统元数据服务器配置的当前值:
-
使用控制台 - 在文件系统详细信息页面的摘要面板上,元数据 IOPS 字段显示预置元数据 IOPS 的当前值以及文件系统的当前元数据配置模式(自动或用户预置)。
-
使用 CLI 或 API – 使用 describe-file-systems CLI 命令或 DescribeFileSystems API 操作,然后查找
MetadataConfiguration
属性。
提高元数据性能时的注意事项
提高元数据性能时需要考虑的几个重要事项如下:
仅提高元数据性能 - 您只能增加文件系统的元数据 IOPS 数;不得减小元数据 IOPS 数。
不支持在自动模式下指定元数据 IOPS - 您无法在处于“自动”模式的文件系统中指定元数据 IOPS 数。必须切换到“用户预置”模式,然后提出请求。有关更多信息,请参阅 更改元数据配置模式。
两次提高的间隔时间 – 在上次增加请求后 6 小时之前,您无法进一步提高文件系统的元数据性能。
同时提高元数据性能和 SSD 存储空间 - 您无法同时扩展元数据性能和文件系统存储容量。
何时提高元数据性能
当需要运行的工作负载要求比文件系统默认配置更高的元数据性能水平时,可增大元数据 IOPS 数。您可以在 AWS Management Console 上使用 Metadata IOPS Utilization
图表来监控元数据性能,该图表提供了您在文件系统上消耗的预置元数据服务器性能的百分比。
您还可以使用更精细的 CloudWatch 指标来监控元数据性能。CloudWatch 指标包括 DiskReadOperations
和 DiskWriteOperations
,可提供需要磁盘 IO 的元数据服务器操作量,以及元数据操作的细粒度指标,包括文件和目录的创建、统计信息、读取和删除。有关更多信息,请参阅 FSx for Lustre 元数据指标。