View a markdown version of this page

开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStream API) - Managed Service for Apache Flink
审核应用程序组件完成所需的先决条件

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStream API)

本节向您介绍适用于 Apache Flink 的托管服务的基本概念，以及使用 API 在 Java 中实现应用程序。 DataStream 它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具，以完成本指南中的教程和创建第一个应用程序。

主题

审核 Managed Service for Apache Flink 应用程序组件

注意

Amazon Managed Service for Apache Flink 支持所有 Apache Flink API，并且潜在支持所有 JVM 语言。有关更多信息，请参阅 Flink 的 API。

根据您选择的 API，应用程序的结构和实施会略有不同。本入门教程介绍如何在 Java 中使用 DataStream API 实现应用程序。

为处理数据，Managed Service for Apache Flink 应用程序使用 Java 应用程序，其使用 Apache Flink 运行时系统处理输入和生成输出。

典型的 Managed Service for Apache Flink 应用程序包含以下组件：

  • 运行时属性：您可以使用运行时属性将配置参数传递给应用程序，以便在不修改和重新发布代码的情况下对其进行更改。

  • 源：应用程序使用来自一个或多个源的数据。源使用连接器从外部系统（例如 Kinesis 数据流或 Kafka 存储桶）读取数据。有关更多信息，请参阅 添加流数据源。

  • 运算符：应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息，请参阅 运算符。

  • 接收器：应用程序通过接收器将数据发送到外部源。接收器使用连接器将数据发送到 Kinesis 数据流、Kifka 主题、Amazon S3 或关系数据库。也可以使用特殊的连接器，仅出于开发目的打印输出。有关更多信息，请参阅 使用接收器写入数据。

您的应用程序需要一些外部依赖项，例如应用程序使用的 Flink 连接器或潜在的 Java 库。要在 Amazon Managed Service for Apache Flink 中运行，必须将应用程序与依赖项一起打包到 fat-jar 中，然后上传到 Amazon S3 存储桶。然后，您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包的位置以及任何其他运行时配置参数。

本教程演示如何使用 Apache Maven 打包应用程序，以及如何在您选择的 IDE 中本地运行应用程序。

满足完成练习的先决条件

要完成本指南中的步骤，您必须满足以下条件：

  • Git 客户端。如果尚未安装 Git 客户端，请安装它。

  • Java 开发套件 (JDK) 版本 11。安装 Java JDK 11 并设置 JAVA_HOME 环境变量，使其指向您的 JDK 安装位置。如果没有 JDK 11，可以使用 Amazon Coretto 11 或选择的任何其他标准 JDK。

    • 要验证是否已正确安装 SDK，请运行以下命令。如果使用 Amazon Corretto 以外的 JDK，则输出会有所不同。确保版本为 11.x。

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven。如果尚未安装 Apache Maven，请安装它。要了解如何安装该工具，请参阅安装 Apache Maven。

    • 要测试您的 Apache Maven 安装，请输入以下内容：

    $ mvn -version

  • 用于本地开发的 IDE。我们建议您使用开发环境（如 Eclipse Java Neon 或 IntelliJ IDEA）来开发和编译您的应用程序。

    • 要测试您的 Apache Maven 安装，请输入以下内容：

    $ mvn -version

要开始，请转到设置 AWS 账户并创建管理员用户。