创建 Studio 笔记本 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建 Studio 笔记本

Studio 笔记本包含用 Python 或 Scala 编写的查询或程序，这些查询或程序在流数据上运行并返回分析结果。SQL您可以使用控制台或创建应用程序CLI，并提供查询以分析来自您的数据源的数据。

您的应用程序具有以下组件：

  • 数据源，例如亚马逊MSK集群、Kinesis 数据流或亚马逊 S3 存储桶。

  • 一个 AWS Glue 数据库。此数据库包含用于存储您的数据源、目标架构和端点的表。有关更多信息，请参阅 与... 一起工作 AWS Glue。

  • 您的应用程序代码。您的代码实现了您的分析查询或程序。

  • 您的应用程序设置和运行时系统属性。有关应用程序设置和运行时系统属性的信息，请参阅 Apache Flink 应用程序开发人员指南中的下列主题：

    • 应用程序并行度和扩展：您可以使用应用程序的 Parallelism 设置来控制应用程序可以同时执行的查询数量。如果您的查询有多个执行路径，则还可以利用更高的并行度，例如在以下情况下：

      • 处理 Kinesis 数据流的多个分片时

      • 使用KeyBy运算符对数据进行分区时。

      • 使用多个窗口运算符时

      有关应用程序扩展的更多信息，请参阅 Managed Service for Apache Flink

    • 日志和监控：有关应用程序日志和监控的信息，请参阅 Amazon Managed Service for Apache Flink 中的日志记录和监控 Apache Flinkhttps://docs.aws.amazon.com/managed-flink/latest/java/monitoring-overview.html。

    • 您的应用程序使用检查点和保存点来实现容错。Studio 笔记本默认不启用检查点和保存点。

您可以使用 AWS Management Console 或创建 Studio 笔记本 AWS CLI。

从控制台创建应用程序时，您可以选择以下选项：

  • 在 Amazon MSK 控制台中，选择您的集群，然后选择实时处理数据。

  • 在 Kinesis Data Streams 控制台中，选择您的数据流，然后在 “应用程序” 选项卡上选择 “实时处理数据”。

  • 在 Managed Service for Apache Flink控制台中，选择 Studio 选项卡，然后选择创建 Studio 笔记本 。

有关教程，请参阅使用 Managed Service for Apache Flink 进行事件检测。

有关更高级的 Studio 笔记本解决方案的示例，请参阅 Amazon Managed Service for Apache Flink Studio 上的 Apache Flink。