开始使用适用于 Apache Flink 的亚马逊托管服务 () DataStream API - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用适用于 Apache Flink 的亚马逊托管服务 () DataStream API

本节向您介绍适用于 Apache Flink 的托管服务的基本概念,以及使用在 Java 中实现应用程序。 DataStream API它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

查看适用于 Apache Flink 的托管服务应用程序的组件

注意

适用于 Apache Flink 的亚马逊托管服务 Flink 支持所有 Apache Flink,可能还支持所有APIs语言。JVM有关更多信息,请参阅 Flink 的。APIs

根据API您选择的不同,应用程序的结构和实现会略有不同。本入门教程介绍在 Java DataStream API 中使用应用程序的实现。

为了处理数据,适用于 Apache 的托管服务 Flink 应用程序使用一个 Java 应用程序,该应用程序使用 Apache Flink 运行时处理输入并生成输出。

适用于 Apache Flink 的典型托管服务应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性将配置参数传递给应用程序,以便在不修改和重新发布代码的情况下对其进行更改。

  • 来源:应用程序使用来自一个或多个来源的数据。源使用连接器从外部系统(例如 Kinesis 数据流或 Kafka 存储桶)读取数据。有关更多信息,请参阅 添加流数据源

  • 运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 运算符

  • 接收器:应用程序通过接收器将数据发送到外部。接收器使用连接器 v 将数据发送到 Kinesis 数据流、Kafka 主题、Amazon S3 或关系数据库。您也可以使用特殊的连接器打印输出,仅用于开发目的。有关更多信息,请参阅 使用接收器写入数据

您的应用程序需要一些外部依赖项,例如您的应用程序使用的 Flink 连接器,或者可能是 Java 库。要在适用于 Apache Flink 的亚马逊托管服务中运行,必须将应用程序与依赖项一起打包在 fat-jar 中,然后上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包的位置以及任何其他运行时配置参数。

本教程演示如何使用 Apache Maven 打包应用程序,以及如何根据自己的选择在IDE本地运行应用程序。

满足完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

  • Git 客户端。如果尚未安装 Git 客户端,请安装。

  • Java 开发套件 (JDK) 版本 11。安装 Java JDK 11 并将JAVA_HOME环境变量设置为指向您的JDK安装位置。如果你没有 JDK 11,你可以使用 Amazon Coretto 11 或任何其他你选择JDK的标准。

    • 要验证是否已正确JDK安装,请运行以下命令。如果您使用的是 Amazon Corretto 以外JDK的其他版本,则输出会有所不同。确保版本为 11.x。

      $ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
  • Apache Maven。如果你还没有安装 Apache Maven,请先安装。要了解如何安装它,请参阅安装 Apache Mave n。

    • 要测试您的 Apache Maven 安装,请输入以下内容:

    $ mvn -version
  • IDE用于地方发展。我们建议你使用诸如 Eclipse Java Neon 或 Intelli J 之类的开发环境IDEA来开发和编译应用程序。

    • 要测试您的 Apache Maven 安装,请输入以下内容:

    $ mvn -version

要开始,请转到设置 AWS 账户并创建管理员用户