View a markdown version of this page

在 Amazon DocumentDB 8.0 中管理基于字典的压缩 - Amazon DocumentDB

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Amazon DocumentDB 8.0 中管理基于字典的压缩

亚马逊 DocumentDB 8.0 引入了一种新的文档压缩算法 Zstd,作为 LZ4 的改进替代方案。当您通过选择 Zstd 作为压缩算法在 Amazon DocumentDB 8.0 集合上启用字典压缩时,将对您的集合中的文档进行采样以创建自定义压缩字典。使用此字典和 Zstd 算法压缩新文档和更新的文档。这种方法通常比标准压缩方法实现更高的压缩率,尤其是对于具有一致文档架构或重复字段名称的集合而言。

LZ4 是一种专为快速压缩和解压缩而设计的算法。众所周知,它在 CPU 上很轻,同时可以实现明显的压缩。Zstd 是一种通用算法,在默认设置下,它使用更多 CPU,但与 LZ4 相比,其压缩比更好。字典的使用进一步提高了大多数 JSON 文档的压缩率。Zstd 算法的一些好处是:

  • 降低存储成本 — 更高的压缩比意味着更少的存储使用量和更低的成本。

  • 降低 I/O — 压缩文档需要更少的时间 I/O,可能会提高性能。

  • 针对您的收藏进行了优化 — 字典是专门针对您馆藏的数据模式进行训练的。

注意

Dictionary-based 亚马逊 DocumentDB 版本 3.6、4.0 和 5.0 不支持压缩。

性能注意事项

Zstd 压缩涉及以下利弊:

  • 存储与 CPU — 与 LZ4 压缩相比,Zstd 压缩可实现更好的压缩率,但可能会使用稍多的 CPU 资源。

  • 初始压缩 — 除非插入足够的文档来训练有效的字典,否则新馆藏可能无法实现最佳压缩。目前,当一个集合至少有 100 个文档时,Amazon DocumentDB 会训练字典。

  • 工作负载类型 — Read-intensive 由于解压缩开销,将全部数据存入缓冲区缓存的工作负载的延迟和 CPU 使用率可能会增加。

Zstd 压缩对于包含小文档、文档数组和重复字段名称的集合特别有效。

启用基于字典的压缩

对于新集合,您可以使用以下命令启用 Zstd 压缩:

db.createCollection("myCollection", { storageEngine: { documentDB: { compression: { enable: true, algorithm: "zstd" } } } } )

您还可以启用或修改现有集合的压缩:

db.runCommand({ collMod: "myCollection", storageEngine: { documentDB: { compression: { enable: true, algorithm: "zstd" } } } })

要为集群中的所有新集合启用 Zstd 算法,请设置 default_collection_compression 将您的集群参数组中的参数设置为 zstd。

开始使用

在 Amazon DocumentDB 8.0 中,新集合默认使用 Zstd 压缩。要关闭新收藏夹的压缩,请设置 default_collection_compression 将您的集群参数组中的参数设置为 disabled。

从亚马逊 DocumentDB 8.0 开始, enabled 不再是的有效值 default_collection_compression。有效值为 zstd、lz4 和 disabled。

监控

您可以使用以下命令之一查看集合的压缩信息:

  • db.runCommand ({collStats: “myCollection”}) 或

  • db.collection.stats ()

这些命令返回可用于计算压缩比的关键统计数据:

  • 压缩。算法 — 使用的算法 (lz4 要么 zstd)

  • 存储大小 — 压缩后集合使用的实际存储空间。请注意,此数字包括碎片(即数据库页面中未使用的空间)

  • 平均ObjSize — 解压缩后的集合文档的平均逻辑大小。请注意,如果您的馆藏中有超过 2 万份文档,则此数字将是基于 2 万份文档样本的近似值。

  • 尺寸 — 未经压缩的集合的逻辑大小。这个数字是通过乘以平均值得出的ObjSize 按集合中的文档总数计算,所以如果是平均值ObjSize 是一个近似值,这个数字也是一个近似值。

  • 计数 — 馆藏中的文件数量

以下 CloudWatch 指标在评估基于字典的压缩时可能会有所帮助:

  • CPUUtilization

  • FreeableMemory

  • VolumeBytesUsed

  • VolumeReadIOPs

  • VolumeWriteIOPs

collStats 指标:

  • 存储大小

  • size

此外,跟踪应用程序特定的指标(例如每种查询类型或 API 的延迟和吞吐量)可能很有用。