本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 Amazon DocumentDB 8.0 中管理基于字典的压缩
亚马逊 DocumentDB 8.0 引入了一种新的文档压缩算法 Zstd,作为 LZ4 的改进替代方案。当您通过选择 Zstd 作为压缩算法在 Amazon DocumentDB 8.0 集合上启用字典压缩时,将对您的集合中的文档进行采样以创建自定义压缩字典。使用此字典和 Zstd 算法压缩新文档和更新的文档。这种方法通常比标准压缩方法实现更高的压缩率,尤其是对于具有一致文档架构或重复字段名称的集合而言。
LZ4 是一种专为快速压缩和解压缩而设计的算法。众所周知,它在 CPU 上很轻,同时可以实现明显的压缩。Zstd 是一种通用算法,在默认设置下,它使用更多 CPU,但与 LZ4 相比,其压缩比更好。字典的使用进一步提高了大多数 JSON 文档的压缩率。Zstd 算法的一些好处是:
降低存储成本 — 更高的压缩比意味着更少的存储使用量和更低的成本。
降低 I/O — 压缩文档需要更少的时间 I/O,可能会提高性能。
针对您的收藏进行了优化 — 字典是专门针对您馆藏的数据模式进行训练的。
Dictionary-based 亚马逊 DocumentDB 版本 3.6、4.0 和 5.0 不支持压缩。
性能注意事项
Zstd 压缩涉及以下利弊:
存储与 CPU — 与 LZ4 压缩相比,Zstd 压缩可实现更好的压缩率,但可能会使用稍多的 CPU 资源。
初始压缩 — 除非插入足够的文档来训练有效的字典,否则新馆藏可能无法实现最佳压缩。目前,当一个集合至少有 100 个文档时,Amazon DocumentDB 会训练字典。
工作负载类型 — Read-intensive 由于解压缩开销,将全部数据存入缓冲区缓存的工作负载的延迟和 CPU 使用率可能会增加。
Zstd 压缩对于包含小文档、文档数组和重复字段名称的集合特别有效。
启用基于字典的压缩
对于新集合,您可以使用以下命令启用 Zstd 压缩:
db.createCollection("myCollection", { storageEngine: { documentDB: { compression: { enable: true, algorithm: "zstd" } } } } )
您还可以启用或修改现有集合的压缩:
db.runCommand({ collMod: "myCollection", storageEngine: { documentDB: { compression: { enable: true, algorithm: "zstd" } } } })
要为集群中的所有新集合启用 Zstd 算法,请设置 default_collection_compression 将您的集群参数组中的参数设置为 zstd。
开始使用
在 Amazon DocumentDB 8.0 中,新集合默认使用 Zstd 压缩。要关闭新收藏夹的压缩,请设置 default_collection_compression 将您的集群参数组中的参数设置为 disabled。
从亚马逊 DocumentDB 8.0 开始, enabled 不再是的有效值 default_collection_compression。有效值为 zstd、lz4 和 disabled。
监控
您可以使用以下命令之一查看集合的压缩信息:
db.runCommand ({collStats: “myCollection”}) 或
db.collection.stats ()
这些命令返回可用于计算压缩比的关键统计数据:
压缩。算法 — 使用的算法 (
lz4要么zstd)存储大小 — 压缩后集合使用的实际存储空间。请注意,此数字包括碎片(即数据库页面中未使用的空间)
平均ObjSize — 解压缩后的集合文档的平均逻辑大小。请注意,如果您的馆藏中有超过 2 万份文档,则此数字将是基于 2 万份文档样本的近似值。
尺寸 — 未经压缩的集合的逻辑大小。这个数字是通过乘以平均值得出的ObjSize 按集合中的文档总数计算,所以如果是平均值ObjSize 是一个近似值,这个数字也是一个近似值。
计数 — 馆藏中的文件数量
以下 CloudWatch 指标在评估基于字典的压缩时可能会有所帮助:
CPUUtilization
FreeableMemory
VolumeBytesUsed
VolumeReadIOPs
VolumeWriteIOPs
collStats 指标:
存储大小
size
此外,跟踪应用程序特定的指标(例如每种查询类型或 API 的延迟和吞吐量)可能很有用。