Fanout Amazon SNS 事件到 AWS 事件分叉管道 - Amazon Simple Notification Service
AWS 事件分叉管道的工作原理部署 AWS 事件分叉管道

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Fanout Amazon SNS 事件到 AWS 事件分叉管道

对于事件存档和分析，亚马逊SNS现在建议使用其与Amazon Data Firehose的原生集成。您可以将 Firehose 传输流订阅SNS主题，这样您就可以向存档和分析终端节点发送通知，例如亚马逊简单存储服务 (Amazon S3) 存储桶、Amazon Redshift 表、 OpenSearch 亚马逊OpenSearch 服务（服务）等。将 Amazon SNS 与 Firehose 传输流配合使用是一种完全托管且无需代码的解决方案，您无需使用任何功能。 AWS Lambda 有关更多信息，请参阅 Fanout 到 Firehose 传送直播。

您可以使用 Amazon SNS 构建事件驱动的应用程序，这些应用程序使用订阅服务自动执行工作，以响应发布商服务触发的事件。此架构模式可提高服务的可重用性、可互操作性和可扩展性。但是，将事件处理分解为可满足常见事件处理要求的管道（例如，事件存储、备份、搜索、分析和重放）可能会非常耗费人力。

为了加快事件驱动型应用程序的开发，您可以将事件处理管道（由事件分叉管道提供支持）订阅到 Amazon 主题。 AWS SNS AWS Event Fork Pipelines 是一套基于AWS 无服务器应用程序模型 (AWS SAM) 的开源嵌套应用程序，您可以直接从 Ev AWS ent Fork Pipelines 套件（选择显示创建自定义IAM角色或资源策略的应用程序）将其部署到您的 AWS 账户中。

有关 E AWS vent Fork Pipelines 用例，请参阅部署和测试 Amazon SNS 事件分叉管道示例应用程序。

主题

AWS 事件分叉管道的工作原理

AWS Event Fork Pipelines 是一种无服务器设计模式。但是，它也是一套基于嵌套的无服务器应用程序 AWS SAM（您可以直接从 AWS Serverless Application Repository (AWS SAR) 将其部署到您的， AWS 账户 以丰富您的事件驱动平台）。您可以根据架构的需要单独部署这些嵌套的应用程序。

下图显示了一个由三个嵌套应用程序补充的 AWS Event Fork Pipelines 应用程序。您可以根据架构的要求在上 AWS SAR独立部署 E AWS vent Fork Pipelines 套件中的任何管道。

AWS Event Fork Pipelines 架构，展示了如何通过三个不同的管道筛选和处理来自亚马逊SNS主题的事件：事件存储和备份、事件搜索和分析以及事件重播。这些管道被描绘成垂直堆叠的盒子，每个管道都独立并行处理来自同一 Ama SNS zon 主题的事件。

每个管道都订阅了相同的 Amazon SNS 主题，从而允许自己在将事件发布到该主题时并行处理事件。每个管道都是独立的，并且可以设置其自己的订阅筛选策略。这允许管道仅处理它感兴趣的部分事件（而不是发布到主题的所有事件）。

注意

由于您将三个 AWS 事件分叉管道放置在常规事件处理管道旁边（可能已经订阅了您的 Amazon SNS 主题），因此您无需更改当前消息发布者的任何部分即可在现有工作负载中利用 AWS 事件分叉管道。

事件存储与备份管道

下图显示了事件存储与备份管道。您可以将此管道订阅到您的 Amazon SNS 主题，以自动备份流经您系统的事件。

该管道由一个用于缓冲亚马逊SNS主题传送的事件的 Amazon SQS 队列、一个自动轮询队列中这些事件并将其推送到 Amazon Data Firehose 流的 AWS Lambda 函数，以及一个持久备份流加载的事件的 Amazon S3 存储桶。

Fork-Event-Storage-Backup-Pipeline，旨在处理和备份来自亚马逊SNS主题的事件。流程从一个亚马逊SNS主题开始，从该主题中将事件分散到亚马逊SQS队列中。然后，这些经过筛选的事件由 Lambda 函数处理，该函数会将它们转发到 Amazon Kinesis Data Firehose。在将事件加载到 Amazon S3 备份存储桶之前，Firehose 流负责缓冲、转换和压缩事件。最后，可以使用 Amazon Athena 来查询存储的数据。该图使用一系列图标和箭头来说明从一项服务到另一项服务的流程，清楚地标记了管道的每个组件。

要微调 Firehose 流的行为，可将其配置为在将事件加载到存储桶之前对事件进行缓冲、转换和压缩。加载事件后，您可以使用 Amazon Athena 使用标准查询来查询存储桶。SQL您也可以将管道配置为重用现有 Amazon S3 存储桶或创建一个新的存储桶。

事件搜索与分析管道

下图显示了事件搜索与分析管道。您可以将此管道订阅到您的 Amazon SNS 主题，以便在搜索域中将流经您系统的事件编入索引，然后对其进行分析。

该管道由一个用于缓冲亚马逊SNS主题传送的事件的亚马逊SQS队列、一个轮询队列中的事件并将其推送到亚马逊数据 Firehose 流的 AWS Lambda 函数、一个用于索引 Firehose 流加载的事件的 OpenSearch 亚马逊服务域以及一个存储无法在搜索域中编入索引的死信事件的 Amazon S3 存储桶。

AWS 架构中的事件搜索和分析管道。它从左边开始，Amazon SNS 主题接收所有事件。然后，这些事件通过一条表示 “扇出过滤的事件” 的虚线传送到 Amazon 队列中。SQS在队列中，事件由 Lambda 函数处理，然后该函数将它们转发到 Amazon Kinesis Data Firehose 流。Data Firehose 将事件定向到两个目的地：一条路由通向 Amazon Elasticsearch Service 进行索引，另一条路由将无法处理的事件或 “死信” 事件发送到 Amazon S3 死信存储桶。在最右边，Elasticsearch 服务的输出输入到 Kibana 仪表板中进行分析和可视化。整个流程是水平布局的，每个组件都通过显示数据流方向的线条相连。

要在事件缓冲、转换和压缩方面微调 Firehose 流，您可以配置此管道。

您还可以配置管道是应重复使用您的现有 OpenSearch 域 AWS 账户 还是为您创建一个新域。在搜索域中为事件编制索引时，您可以使用 Kibana 对事件运行分析并实时更新可视化控制面板。

事件重播管道

下图显示了事件重播管道。要记录过去 14 天内您的系统处理的事件（例如，当您的平台需要从故障中恢复时），您可以将此管道订阅您的 Amazon SNS 主题，然后重新处理这些事件。

该管道由一个 Amazon SQS 队列组成，该队列用于缓冲由 Amazon SNS 主题传送的事件，以及一个用于轮询队列中的事件并将其重新驱动到您的常规事件处理管道的 AWS Lambda 函数，该管道也订阅了您的主题。

流程图格式的事件重播管道。从左到右，它以 Amazon SNS 主题开头，该主题将筛选的事件分发给两个并行进程。上方的流程代表您的常规事件处理管道，其中包括处理事件的 Amazon SQS 队列。标记为 “” 的下层流程包括一个 Amazon SQS 重播队列fork-event-replay-pipeline，事件在由 Lambda 重播函数处理之前会暂时存储在该队列中。此 Lambda 函数能够根据重播功能的启用还是禁用，将事件重新驱动到您的常规事件处理管道中或将其保留以供重播。该图还表明，操作员可以控制启用或禁用事件重播功能。
注意

默认情况下，重播功能已禁用，而不会重新导入您的事件。如果您需要重新处理事件，则必须启用 Amazon SQS 重播队列作为重 AWS Lambda 播功能的事件源。

部署 AWS 事件分叉管道

AWS Event Fork Pipelines 套件（选择 “显示创建自定义IAM角色或资源策略的应用程序”）在中作为一组公共应用程序提供 AWS Serverless Application Repository，您可以从中使用AWS Lambda 控制台手动部署和测试它们。有关使用 AWS Lambda 控制台部署管道的信息，请参阅将 AWS 事件分叉管道订阅到 Amazon 主题 SNS。

在生产场景中，我们建议在整个应用程序的 AWS SAM模板中嵌入 AWS Event Fork Pipelines。嵌套应用程序功能允许您通过向 AWS SAM模板添加资源、引用嵌套应用程序SemanticVersion的 AWS SARApplicationId和AWS::Serverless::Application来实现此目的。

例如，您可以将事件存储和备份管道用作嵌套应用程序，方法是将以下YAML代码段添加到 AWS SAM模板的Resources部分。

Backup:   
    Type: AWS::Serverless::Application
  Properties:
    Location:
      ApplicationId: arn:aws:serverlessrepo:us-east-2:123456789012:applications/fork-event-storage-backup-pipeline
      SemanticVersion: 1.0.0
    Parameters: 
      #The ARN of the Amazon SNS topic whose messages should be backed up to the Amazon S3 bucket.
      TopicArn: !Ref MySNSTopic

指定参数值时，您可以使用 AWS CloudFormation 内部函数来引用模板中的其他资源。例如，在上面的YAML片段中，TopicArn参数引用了 AWS SAM 模板中其他地方定义的AWS::SNS::Topic资源MySNSTopic。有关更多信息，请参阅 AWS CloudFormation 用户指南中的内置函数参考。

注意

AWS SAR应用程序的 AWS Lambda 控制台页面包括 “复制为SAM资源” 按钮，该按钮可将嵌套 AWS SAR应用程序YAML所需的内容复制到剪贴板。