View a markdown version of this page

亚马逊的数据网格参考架构 DataZone - 亚马逊的数据网格参考架构 DataZone

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊的数据网格参考架构 DataZone

发布日期:2024 年 11 月 20 日 (图表历史)

数据网格是一种去中心化的架构和组织框架,可帮助组织加速创新并推动商业价值。该架构展示了Amazon DataZone如何使用构建基于数据网格的数据解决方案。

亚马逊的数据网格参考架构 DataZone

架构图显示了Amazon DataZone与亚马逊 S3、AWS Glue、亚马逊 Redshift 和 A SageMaker I 一起使用的数据网格。

以下步骤描述了架构:

  1. 通过数据库、文件共享、边缘设备、日志、社交网络、SaaS 应用程序和流媒体从整个企业的来源收集数据。

  2. 根据源系统和最终用户的要求,使用亚马逊、 AWS 数据库迁移服务 AppFlow、亚马逊 Kinesis 、A WS IoT Core 和亚马逊托管流媒体来摄取原始数据。Apache Kafka

  3. 在生产者账户中,使用 AWS Glue 转换原始数据。将元数据存储在 AWS Glue 数据目录中,使用 AWS Glue 数据质量衡量数据质量,并使用数据源任务将亚马逊 S3 https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html、亚马逊 Redshift 、亚马逊 RDS 和第三方来源中的数据注册为Amazon DataZone目录中的资产。

  4. 中央治理账户托管Amazon DataZone域和相关数据门户。将数据生产者和消费者的 AWS 账户与Amazon DataZone域关联起来,并在相关的域名单位下创建项目。

  5. 最终用户使用 IAM 证书或通过单点登录 (SSO) 登录Amazon DataZone数据门户。https://docs.aws.amazon.com/singlesignon/latest/userguide/what-is.html他们搜索、筛选和查看资产信息,包括数据质量、业务元数据和技术元数据。

  6. 当最终用户找到感兴趣的资产时,他们使用的订阅功能请求访问权限Amazon DataZone。资产所有者根据有效性批准或拒绝请求。

  7. 订阅请求获得批准并完成后,访问消费者账户中的资产,使用 AI 进行 AI/ML 模型开发,使用 SageMaker A thena 、Amazon Redshift 和 Quick 进行分析和报告。

延伸阅读

有关其他信息,请参阅以下资源:

图表历史

要获得有关此参考架构图更新的通知,请订阅 RSS 提要。

变更说明日期

初次发布

参考架构图首次发布。

2024 年 11 月 20 日

注意

要订阅 RSS 更新,必须为正在使用的浏览器启用 RSS 插件。