AWS Glue 流式处理

作为 AWS Glue 的一个组件，AWS Glue 流式处理使您能够近乎实时地高效处理流数据，以便您执行数据摄取、处理和机器学习等关键任务。借助 Apache Spark Streaming 框架，AWS Glue 流式处理提供了一种无服务器服务，可以大规模处理流数据。AWS Glue 在 Apache Spark 的基础上进行了各种优化，例如，无服务器基础设施、自动扩缩、可视化作业开发、流作业即时笔记本以及其他性能改进。

流式处理用例

AWS Glue 流式处理的一些常见用例如下：

近乎实时的数据处理：AWS Glue 流式处理使组织能够近乎实时地处理流数据，以便其根据最新信息获得见解并及时做出决策。

欺诈检测：您可以利用 AWS Glue 流式处理对流数据进行实时分析，这对于检测信用卡欺诈、网络入侵或网上诈骗等欺诈活动非常有用。通过持续处理和分析传入数据，您可以快速识别可疑模式或异常情况。

社交媒体分析：AWS Glue 流式处理可以处理实时社交媒体数据，比如推文、帖子或评论，使组织能够实时监控趋势、情绪分析和管理品牌声誉。

物联网（IoT）分析：AWS Glue 流式处理适用于处理和分析物联网设备、传感器和联网机器生成的高速数据流。它允许实时监控、异常检测、预测性维护和其他物联网分析用例。

点击流分析：AWS Glue 流式处理可以处理和分析来自网站或移动应用程序的实时点击流数据。这使企业能够深入了解用户行为，个性化用户体验，根据实时点击流数据优化营销活动。

日志监控和分析：AWS Glue 流式处理可持续实时处理和分析来自服务器、应用程序或网络设备的日志数据。这有助于检测异常、排查问题、监控系统运行状况和性能。

推荐系统：AWS Glue 流式处理以实时处理用户活动数据，动态更新推荐模型。这允许根据用户行为和偏好进行个性化和实时推荐。

以下是可以应用 AWS Glue 流式处理的各种用例的一些例子。它与 AWS 生态系统和托管服务集成，使其成为在云中进行实时流处理和分析的一个方便的选择。

使用 AWS Glue 流式处理有哪些好处？

使用 AWS Glue 流式处理的好处如下：

何时使用 AWS Glue 流式处理？

关于流式处理用例，有很多选择。我们建议在以下场景中使用 AWS Glue 流式处理。

支持的数据来源

AWS Glue 流式处理支持以下数据来源：

支持的数据目标

AWS Glue 流式处理支持多个数据目标：

为流式传输作业启用实时模式

实时模式（RTM）是适用于 Spark Structured Streaming 的新执行模型，已在 AWS Glue 6.0 中推出。RTM 可将端到端延迟从数秒或数分钟缩短至亚秒级。实时模式仅适用于 Spark Structured Streaming 作业。它不适用于旧版 Spark Streaming（DStreams）或其他作业类型。

RTM 使用 Trigger.RealTime。任务在批处理窗口（默认为 5 分钟）内持续运行，并在记录到达时立即进行处理，而非跨时间间隔累积数据。这与默认的微批处理模型不同，在该模型中，forEachBatch/Trigger.ProcessingTime 每隔一段时间就会轮询、处理、提交并重新启动任务。

先决条件

在启用实时模式之前，请确认您的作业满足以下要求：

何时使用实时模式

实时模式专为特定类别的流式传输工作负载而设计。请在以下情况下考虑使用实时模式：

在以下情况下，请继续使用微批处理模式：

实时模式的工作原理

以下介绍微批处理模型与实时模式之间的区别：

两种模式均使用相同的检查点格式和恢复机制。关键区别在于任务生命周期。微批处理模式每隔一段时间就会终止并重新启动任务。实时模式使任务在较长的批处理窗口内连续运行。

要启用实时模式

您可以通过将 --enable-real-time-mode 作业参数设置为 true 来启用实时模式。您可以在 AWS Glue 控制台中或通过 API 设置此参数。

要启用实时模式（控制台）

要启用实时模式（API）

--enable-real-time-mode 标志存储在作业定义的 DefaultArguments 映射中。您可以在创建或更新作业时设置该标志。

要创建新作业（AWS CLI）

运行以下命令：

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

要创建新作业（boto3）

使用以下代码：

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

要更新现有作业（AWS CLI）

运行以下命令：

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

编写流式传输脚本

作业参数声明了使用实时模式的意图。您的脚本会选择触发器。

以下 Scala 示例显示了使用 Trigger.RealTime 的流式传输查询：

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTime 以毫秒为单位设置检查点间隔。更新输出模式为必填项。追加模式会抛出 OUTPUT_MODE_NOT_SUPPORTED。

只要设置了该标志，您就可以在一个脚本中混合使用多种模式：

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

缺少标志时的行为

以下内容描述了作业在未设置 --enable-real-time-mode 标志时的行为：

注意事项和限制

在使用实时模式时，请注意以下几点：