数据网格策略框架 - AWS 规范性指导

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

数据网格策略框架

数据网格策略框架旨在帮助您为组织制定和实施数据网格策略。它概述了在实施数据网格策略期间观察到的典型阶段。根据您在数据战略和云成熟度之旅中所处的位置,考虑组织的相关阶段。有时,客户首先关注数据网格策略的工具和技术。相反,我们建议将您的战略与组织提供的业务价值保持一致。

数据网格策略框架包括五个阶段:

  • 发现

  • Align

  • 发布

  • 扩展

  • 进化

探索阶段

在发现阶段,深入了解组织的业务和数据格局。此阶段的目标是收集有助于设计数据网格的信息。在此阶段,请对以下主题进行资格鉴定并获得清晰度:

  • 目前的业务结构以及是否计划进行任何重组

  • 每个业务部门生成的数据量

  • 组织的数据源和每个业务部门生成的数据类型,例如逗号分隔值 (CSV) 数据、图像数据、视频数据和物联网数据

  • 数据生成的速度(批处理数据或流数据)

  • 当前管理数据访问的流程

  • 数据存储位置:云端或本地

  • 数据解决方案是否必须支持混合场景

  • 如果数据位于本地,是否计划进行任何云迁移

  • 数据的安全性和合规性护栏

  • 当前数据驱动的用例:其成熟度和租期(云端或本地)

对齐阶段

在发现阶段收集必要的数据点后,根据您的组织结构定义数据网格解决方案的边界。理想情况下,您希望有一个涵盖整个组织的数据网格解决方案。但是,大型组织有时会采用多种实现方式来实现其数据网格解决方案。如果这种情况适用于您,请考虑为每个商业品牌或每个地理区域构建数据网格解决方案。在定义边界时,请考虑解决方案结构是单向门还是双向门决策。在亚马逊,单向门的决定被认为几乎是不可逆转的。另一方面,可以撤销双向门决定,而不会产生任何重大后果。

就最低可行产品 (MVP) 的范围与您的利益相关者保持一致:

  • 最有价值球员的技术特征。

  • 实施基于数据网格的数据解决方案的灯塔或试点用例(业务用户要求)。通过实施 Lighthouse 用例所积累的经验有助于创建蓝图,以实现未来的用例。

  • 衡量最有价值球员成功与否的指标。

  • 在 MVP 阶段(解决方案增长)之后所需的数据解决方案范围。

要确定解决方案的技术特征,请根据数据用户体验进行反向研究。对于 MVP,请选择满足用户体验所需的最低限度功能。在选择灯塔用例时,请考虑以下几点:

  • 云成熟度高的用例

  • 高级数据用户的用例

  • 提供可行商业价值的用例

  • 可以满足要求的用例,从基准数据解决方案功能开始

启动阶段

在所有利益相关者就范围和支持的用例达成一致后,构建基于数据网格的数据解决方案的 MVP。采用敏捷实践(例如 Scrum 或看板),采用迭代构建方法来实现价值。为 MVP 定义路线图和里程碑,并建立数据治理机制。启动阶段包括以下关键活动:

  • 识别数据网格的数据域。

  • 定义域名的租约。

  • 将灯塔用例添加到数据解决方案中。

  • 添加数据产品以支持数据解决方案中的灯塔用例。

  • 定义数据产品的业务和技术元数据。

  • 构建数据访问管理工作流程。

  • 为消费者团队构建数据访问模式。

  • 建立安全与合规护栏。

  • 构建用于衡量数据质量和数据沿袭的工具。

  • 构建可观察性工具,以通知用户、监控资源使用情况和跟踪成功指标。

  • 将 MVP 投入生产。

  • 开展教育和宣传活动。 

在 MVP 阶段结束时,评估结果以衡量启动阶段的成功。

缩放阶段

在此阶段,扩展 MVP 解决方案,根据 MVP 阶段的结果迭代完整解决方案的范围。介绍计划在 MVP 阶段之后实施的功能,并增加对早期采用者用例的支持。继续教育利益相关者了解功能增强、新增功能以及解决方案的操作和维护。

进化阶段

在构建数据解决方案时,你永远不会完成。通过重新审视您构建的内容来管理解决方案的生命周期。引入满足业务用户需求的优化以及新的或增强的功能。例如,添加生成式人工智能(生成式 AI)功能,以丰富数据产品的业务元数据。将后期采用者的用例添加到数据解决方案中。

下图显示了活动摘要以及每个阶段支持的业务用例数量的变化。

业务用例和采用者的数量在规模和演变阶段不断增加。

与灯塔用例相关的用户是第一个采用基于数据网格的数据解决方案的人。在规模化阶段,越来越多的早期采用者开始使用数据解决方案。在演变阶段,后期采用者紧随其后。