SUS04-BP03 使用策略管理数据集的生命周期
管理所有数据的生命周期并自动执行删除,以最大限度地减少工作负载所需的总存储。
常见反模式:
-
手动删除数据。
-
不删除任何工作负载数据。
-
不根据数据的保留和访问要求将数据移动到更节能的存储层。
建立此最佳实践的好处:使用数据生命周期策略可确保在工作负载中高效地访问和保留数据。
在未建立这种最佳实践的情况下暴露的风险等级:中
实施指导
数据集在其生命周期中通常具有不同的保留和访问要求。例如,应用程序可能需要在有限的时间段内频繁访问某些数据集。之后,这些数据集很少被访问。要随时间推移提高数据存储和计算的效率,请实施生命周期策略,这些策略是定义如何随时间推移来处理数据的规则。
使用生命周期配置规则,您可以指示特定存储服务将数据集转换到更节能的存储层、将其归档或删除。这种做法可最大限度地减少主动数据存储和检索,从而降低能耗。此外,归档或删除过时数据等做法支持法规遵从性和数据治理。
实施步骤
-
使用数据分类:对工作负载中的数据集进行分类。
-
定义处理规则:定义每个数据类的处理过程。
-
启用自动化:设置自动化生命周期策略以强制实施生命周期规则。以下是如何为不同 AWS 存储服务设置自动化生命周期策略的一些示例:
存储服务 如何设置自动化生命周期策略 您可以使用 Amazon S3 生命周期在对象的整个生命周期中对其进行管理。如果您的访问模式未知、变化或不可预测,则可以使用 Amazon S3 Intelligent-Tiering,它能够监控访问模式并自动将尚未访问的对象移动到成本较低的访问层。您可以利用 Amazon S3 Storage Lens 存储统计管理工具指标来识别生命周期管理中的优化机会和差距。
您可以使用 Amazon Data Lifecycle Manager 自动创建、保留和删除 Amazon EBS 快照和 Amazon EBS 支持的 AMI。
Amazon EFS 生命周期管理会自动为您的文件系统管理文件存储。
Amazon ECR 生命周期策略可根据存在期限或计数使映像过期,以此自动清理容器映像。
您可以使用对象生命周期策略,用于管理对象在 MediaStore 容器中应该存储多长时间。
-
删除未使用的资产:删除未使用的卷、快照和超出保留期的数据。使用原生服务功能(如 Amazon DynamoDB 生存时间或 Amazon CloudWatch log retention)进行删除。
-
聚合和压缩:在适当的情况下根据生命周期规则聚合和压缩数据。
资源
相关文档:
相关视频: