View a markdown version of this page

使用 AWS 和 Snowflake 的现代数据平台 - 使用 AWS 和 Snowflake 的现代数据平台
使用 AWS 和 Snowflake 的现代数据平台延伸阅读图表历史

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 AWS 和 Snowflake 的现代数据平台

发布日期：2022年 3月11日 (图表历史)

该架构展示了如何使用 AWS 和构建端到端的现代数据分析平台Snowflake。您可以从多个来源提取数据，将其存储在数据湖中，并用Snowflake作虚拟数据仓库进行分析。

使用 AWS 和 Snowflake 的现代数据平台

架构图显示了使用 AWS 和带有亚马逊 S3、AWS Glue、Lake Formation 和 Step Functions 的 Snowflake 的现代数据平台。

以下步骤描述了架构：

  1. 从企业的多个数据源、软件即服务 (SaaS) 应用程序、边缘设备、日志、流媒体数据和社交媒体网络中收集数据。

  2. 根据数据源的类型，使用 AWS 数据库迁移服务、AWS、亚马逊 Kinesis DataSync 、Amazon Managed Streaming for Apache Kafka、AWS IoT Core 、 AWS Glue 和亚马逊 AppFlow 将数据摄入到数据湖中。

  3. Amazon 简单存储服务提供完全托管、高度可用且可扩展的数据湖存储。

  4. AWS Glue 在多个数据存储中提取、转换和摄取数据。Amazon EMR 提供云大数据平台，用于使用开源分析框架处理大量数据。AWS Lambda而亚马逊 EC2 则为数据丰富提供了计算能力。

  5. 亚马逊托管工作流程 Apache Airflow (MWAA) 或AWS Step Functions编排端到端数据管道。

  6. Lake Formation 让您可以轻松构建、保护和管理您的数据湖。它为强制数据分类和管理细粒度访问提供了一个单一的场所。IAM 和 AWS STS 管理访问权限和临时证书。

  7. Snowflake用作虚拟数据仓库，能够使用外部表查询 Amazon S3，并使用自动和持续地摄取数据。 SnowPipe

  8. SageMaker AI 构建、训练和部署机器学习 (ML) 模型，并为您的应用程序添加智能。亚马逊 Quick Sight 提供 ML-powered 商业智能 (BI)。

延伸阅读

有关更多信息，请参阅以下资源：

图表历史

要获得有关此参考架构图更新的通知，请订阅 RSS 提要。

变更说明日期

初次发布

参考架构图首次发布。

2022 年 3 月 11 日

注意

要订阅 RSS 更新，必须为正在使用的浏览器启用 RSS 插件。