Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStream API)
本节向您介绍适用于 Apache Flink 的托管服务的基本概念,以及使用 API 在 Java 中实现应用程序。 DataStream 它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。
主题
查看适用于 Apache Flink 的托管服务应用程序的组件
注意
适用于 Apache Flink 的亚马逊托管服务 Flink 支持所有 Apache Flink,可能还支持所有 J APIs VM 语言。有关更多信息,请参阅 Flink 的。 APIs
根据您选择的 API,应用程序的结构和实现会略有不同。本入门教程介绍如何在 Java 中使用 DataStream API 实现应用程序。
为了处理数据,适用于 Apache 的托管服务 Flink 应用程序使用一个 Java 应用程序,该应用程序使用 Apache Flink 运行时处理输入并生成输出。
适用于 Apache Flink 的典型托管服务应用程序包含以下组件:
-
运行时属性:您可以使用运行时属性将配置参数传递给应用程序,以便在不修改和重新发布代码的情况下对其进行更改。
-
来源:应用程序使用来自一个或多个来源的数据。源使用连接
器从外部系统(例如 Kinesis 数据流或 Kafka 存储桶)读取数据。有关更多信息,请参阅 添加流数据源。 -
运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 运算符。
-
接收器:应用程序通过接收器将数据发送到外部源。接收器使用连接器
v 将数据发送到 Kinesis 数据流、Kafka 主题、Amazon S3 或关系数据库。您也可以使用特殊的连接器打印输出,仅用于开发目的。有关更多信息,请参阅 使用接收器写入数据。
您的应用程序需要一些外部依赖项,例如您的应用程序使用的 Flink 连接器,或者可能是 Java 库。要在适用于 Apache Flink 的亚马逊托管服务中运行,必须将应用程序与依赖项一起打包在 fat-jar 中,然后上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包的位置以及任何其他运行时配置参数。
本教程演示如何使用 Apache Maven 打包应用程序,以及如何在您选择的 IDE 中本地运行应用程序。
满足完成练习的先决条件
要完成本指南中的步骤,您必须满足以下条件:
-
Git 客户端
。如果尚未安装 Git 客户端,请安装。 -
Java 开发套件 (JDK) 版本 11
。安装 Java JDK 11 并将 JAVA_HOME
环境变量设置为指向你的 JDK 安装位置。如果你没有 JDK 11,你可以使用 Amazon Coretto 11 或任何其他你选择的标准 JDK。-
要验证是否正确安装了 JDK,请运行以下命令。如果您使用的是 Amazon Corretto 以外的 JDK,则输出会有所不同。确保版本为 11.x。
$ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
-
-
Apache Maven
。如果你还没有安装 Apache Maven,请先安装。要了解如何安装它,请参阅安装 Apache Mave n。 -
要测试您的 Apache Maven 安装,请输入以下内容:
$ mvn -version
-
-
用于本地开发的 IDE。我们建议你使用诸如 Eclipse Java Neon 或 Intelli
J ID EA 之类的开发环境来开发和编译应用程序。 -
要测试您的 Apache Maven 安装,请输入以下内容:
$ mvn -version
-
要开始,请转到设置 AWS 账户并创建管理员用户。