零 ETL 集成 - Amazon Redshift

零 ETL 集成

零 ETL 集成是一种完全托管式解决方案，可在 Amazon Redshift 中提供来自多个运营和事务性来源的事务和运营数据。通过此解决方案，您可以配置从数据来源到 Amazon Redshift 数据仓库的集成。您无需维护提取、转换、加载 (ETL) 管道。我们自动创建和管理从数据来源到 Amazon Redshift 集群或 Redshift Serverless 命名空间的数据复制任务，从而为您处理 ETL。您可以继续更新和查询源数据，同时使用 Amazon Redshift 完成分析工作负载，例如报告和控制面板。

通过零 ETL 集成，您可以获得最新数据，用于分析、AI/ML 和报告。您可以获得更准确、更及时的洞察，用于业务控制面板、优化的游戏体验、数据质量监控和客户行为分析等应用场景。您可以更有信心地做出以数据为导向的预测，改善客户体验，并在整个企业中推广数据驱动的洞察。

目前，以下数据来源支持零 ETL 集成：

  • Amazon Aurora MySQL

  • Amazon Aurora PostgreSQL

  • Amazon RDS for MySQL

  • Amazon DynamoDB

  • 应用程序，例如 Salesforce、SAP、ServiceNow 和 Zendesk

要创建零 ETL 集成，您需要指定集成源，并将 Amazon Redshift 数据仓库指定为目标。在初始数据加载之后，该集成会将数据从源数据仓库复制到目标数据仓库中。这时数据在 Amazon Redshift 中变为可用。在创建集成源、创建零 ETL 集成以及创建 Amazon Redshift 数据仓库时，您可以控制数据的加密。该集成还会监控数据管道的运行状况，并在可能的情况下从问题中恢复。您可以创建相同类型的多个源与单个 Amazon Redshift 数据仓库的集成，从而获得跨多个应用程序的全面洞察。

当数据在 Amazon Redshift 中之后，您可以使用 Amazon Redshift 提供的分析功能。例如，内置机器学习 (ML)、实体化视图、数据共享以及直接访问多个数据存储和数据湖。对于数据工程师，零 ETL 集成提供了对时间敏感型数据的访问，否则，对这些数据的访问可能会被复杂数据管道中的间歇性错误延误。您可以对事务数据运行分析查询和 ML 模型，从而为时间敏感型事件和业务决策提供及时的洞察。

您可以创建 Amazon Redshift 事件通知订阅，这样就能在发生零 ETL 集成事件时收到通知。要查看与集成相关的事件通知列表，请参阅使用 Amazon EventBridge 发送零 ETL 集成事件通知。创建订阅最简单的方式是使用 Amazon SNS 控制台。有关创建和订阅 Amazon SNS 主题的信息，请参阅《Amazon Simple Notification Service 开发人员指南》中的开始使用 Amazon SNS。

在开始使用零 ETL 集成时，请考虑以下概念：

  • 源数据库是将其数据复制到 Amazon Redshift 中的数据库。

  • 目标数据仓库是数据要复制到的 Amazon Redshift 预置集群或 Redshift Serverless 工作组。

  • 目标数据库是您通过零 ETL 集成创建在目标数据仓库中创建的数据库。

有关可用于监视零 ETL 集成的系统表和视图的信息，请参阅使用 Amazon Redshift 系统视图监控零 ETL 集成。

有关零 ETL 集成的定价信息，请参阅相应的定价页面：

有关零 ETL 集成源的更多信息，请参阅以下主题：

主题