Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e a implementação de um aplicativo em Java usando a API. DataStream Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.
Tópicos
Analise os componentes do aplicativo Managed Service for Apache Flink
nota
O Amazon Managed Service para Apache Flink oferece suporte a todo o Apache Flink APIs e, potencialmente, a todas as linguagens da JVM. Para obter mais informações, consulte Flink's APIs
Dependendo da API escolhida, a estrutura do aplicativo e a implementação são um pouco diferentes. Este tutorial de introdução aborda a implementação dos aplicativos usando a DataStream API em Java.
Para processar dados, seu aplicativo Managed Service for Apache Flink usa um aplicativo Java que processa a entrada e produz a saída usando o tempo de execução do Apache Flink.
Um aplicativo típico do Managed Service for Apache Flink tem os seguintes componentes:
-
Propriedades de tempo de execução: você pode usar propriedades de tempo de execução para passar parâmetros de configuração para seu aplicativo e alterá-los sem modificar e republicar o código.
-
Fontes: o aplicativo consome dados de uma ou mais fontes. Uma fonte usa um conector
para ler dados de um sistema externo, como um stream de dados do Kinesis ou um bucket do Kafka. Para obter mais informações, consulte Adicionar fontes de dados de streaming. -
Operadores: o aplicativo processa dados usando um ou mais operadores. Um operador pode transformar, enriquecer ou agregar dados. Para obter mais informações, consulte Operadores.
-
Coletores: o aplicativo envia dados para fontes externas por meio de coletores. Um coletor usa um conector
v para enviar dados para um stream de dados do Kinesis, um tópico do Kafka, Amazon S3 ou um banco de dados relacional. Você também pode usar um conector especial para imprimir a saída somente para fins de desenvolvimento. Para obter mais informações, consulte Grave dados usando coletores.
Seu aplicativo requer algumas dependências externas, como os conectores Flink que seu aplicativo usa ou, potencialmente, uma biblioteca Java. Para ser executado no Amazon Managed Service para Apache Flink, o aplicativo deve ser empacotado junto com as dependências em um fat-jar e carregado em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa a localização do pacote de código, junto com qualquer outro parâmetro de configuração de tempo de execução.
Este tutorial demonstra como usar o Apache Maven para empacotar o aplicativo e como executá-lo localmente no IDE de sua escolha.
Cumpra os pré-requisitos para concluir os exercícios
Para concluir as etapas neste guia, é necessário ter o seguinte:
-
Cliente do Git
. Instale o cliente Git, caso ainda não tenha feito isso. -
Kit de Desenvolvimento Java (JDK) versão 11
. Instale um Java JDK 11 e defina a variável de JAVA_HOMEambiente para apontar para o local de instalação do JDK. Se você não tiver um JDK 11, poderá usar o Amazon Coretto 11 ou qualquer outro JDK padrão de sua escolha.-
Para verificar se você tem o JDK instalado corretamente, execute o comando a seguir. A saída será diferente se você estiver usando um JDK diferente do Amazon Corretto. Verifique se a versão é 11.x.
$ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
-
-
Apache Maven
. Instale o Apache Maven, caso ainda não tenha feito isso. Para saber como instalá-lo, consulte Instalando o Apache Maven . -
Para testar a instalação do Apache Maven, insira o seguinte:
$ mvn -version -
-
IDE para desenvolvimento local. Recomendamos que você use um ambiente de desenvolvimento como o Eclipse Java Neon
ou o IntelliJ IDEA para desenvolver e compilar seu aplicativo . -
Para testar a instalação do Apache Maven, insira o seguinte:
$ mvn -version -
Para começar a usar, vá até Configurar uma AWS conta e criar um usuário administrador.
